solution-erp/.claude/workflows/runs/2026-07-25-S149-adap-backlog/sub-apply-L5-evalcuaeval.md

sub-apply-L5 — C-a eval-của-eval (thư 2026-07-21 eval-quality-audit)

Lane L5 · run 2026-07-25-S149-adap-backlog · agent tier opus effort MAX Label (khuôn-④ C3): ai = L5-apply · gì = C-a bảng eval-của-eval + report eval-quality-audit · nhịp = wave-apply S149 · phiên = S149 (2026-07-25) KHUNG RỖNG ghi ĐĨA TRƯỚC khi đọc/đo (chống #53 return-garble — ghi-đĩa-TRONG-lúc-làm). Thư nguồn đọc TRỌN: AI_INFRA/broadcasts/outbox/all/2026-07-21-Governance-eval-quality-audit-ra-thuoc-eval-cua-eval.md (55 dòng, content_sha256: c04d39dbc8f5…).

⓪ Fact-0: giải LỆCH 2 nguồn về trio — KẾT LUẬN: trio ĐÃ chạy thật; cả 2 nguồn "pending" là VĂN-BẢN STALE, không phải sự-thật khác

Lệnh giao nêu 2 nguồn. Đo ra 3 nguồn — và nguồn thứ 3 nghiêng cùng phía nguồn thứ 2.

#	Nguồn	Nói gì	Đo được
1	runs/2026-07-22-S144-trio-first-run/	trio ĐÃ chạy	5 file: harness-eval-return.md (10.907 B) · harness-refine-return.md (14.321 B) · harness-audit-return.md (11.251 B) · run.md · trio-synthesis.md. Commit 8b6df0a 2026-07-23
2	.claude/agent-memory/memory-budget.json:186-188	"S141 seed - first-run pending restart+consent"	Văn-bản STALE — chưa ai sửa sau S144
3	🆕 chính diary của trio, vd agent-memory/harness-refine/MEMORY.md:16	"S141 seed — CHƯA chạy lần nào; first-run chờ restart-CLI + spawn-probe + anh consent"	Cũng STALE, cùng gốc

Kết luận (khai đúng cái đo được): trio ĐÃ CHẠY first-run thật @S144 (2026-07-22), tuần-tự eval→refine→audit, verdict trong trio-synthesis.md:7 = executed-file → verified-runtime. Hai nguồn "pending" không mâu thuẫn với nguồn 1 về sự-kiện — chúng chỉ chưa được cập-nhật, vì đúng lý-do đã tự khai ở trio-synthesis.md:35: "phiên S144→S145 chạy tiếp việc khác rồi /pause, harvest-gate chưa kịp gom".

Nhưng có một vế "pending" VẪN ĐÚNG theo nghĩa hẹp — và đây là chỗ dễ nhập nhằng, nên tách bạch:

Nghĩa của "first-run"	Trạng thái THẬT	Bằng chứng
trio chạy task lần đầu	✅ RỒI	3 return-file + synthesis
trio ghi diary lần đầu	❌ CHƯA	eval 1.547 B (mtime 2026-07-20) · audit 1.513 B (mtime 2026-07-20) — đứng y nguyên từ ngày seed

⇒ Con-số l1_hot trong budget.json vẫn khớp đĩa (eval 1547 = 1547 ✔ · audit 1513 = 1513 ✔); chỉ câu chữ rollout là sai. Lý do 3 vai không tự ghi: run.md:9 khai "3 vai khai không có Write/Edit" — nên first-run KHÔNG thể sinh diary; phải lead harvest, mà harvest bị cắt.

Drift phụ đo được: harness-refine = 1.611 B ≠ 1.616 B ghi trong budget.json (−5 B, mtime 2026-07-24 23:11). Truy git log -p: commit 9abc2e1 không phải entry first-run mà là đổi tên vai lead-omission-auditor → lead-gap-auditor trong dòng split-boundary. ⇒ diary bị chạm vì lý-do khác, con số budget.json lệch 5 B từ đó.

🔴 Đây chính là ca mẫu của cả đợt rà: việc ĐÃ chạy, nhưng bề-mặt-đo không đổi ⇒ mọi thước đọc memory-budget.json sẽ báo "pending" vĩnh viễn. Không thước nào trong 17 thước dưới đây đo được ô rollout (văn xuôi tự-do, không máy nào parse). Cf. feedback_absence_looks_like_clean — vắng-mặt trông giống ổn.

① Bảng eval-của-eval — 4 câu của thư + verdict

Quy ước cột: Q1 = đã bắt lỗi THẬT chưa (trích dòng, "chưa từng" cũng là dữ liệu) · Q2 = activity ⟂ integrity ⟂ efficacy-outcome (hệ kiểm bắt được lỗi?) ⟂ use-outcome (tri-thức có được DÙNG?) · Q3 = tự-nói-chuyện-với-mình {(a) token-hoá-thạch · (b) đếm-chính-dòng-định-nghĩa · (c) nhãn-hứa-không-ép · (d) chú-thích-tự-mâu-thuẫn} · Q4 = bỏ thì lọt gì {dormant-đúng-thiết-kế ⟂ thừa-thật}.

🔒 2 cột thẩm-quyền ĐỂ TRỐNG — owner điền. AI chỉ được tự quyết cột "AI-tự-sửa" (vá máy/nhãn/filter); "AI không tự quyết hai cột sau" — thư :24 verbatim.

A. 7 thước ĐỘC-LẬP (script riêng)

#	Thước	Q1 — bắt lỗi thật?	Q2 — lớp đo	Q3 — tự-nói?	Q4 — bỏ thì lọt gì	Verdict	🔒 owner-SỐ	🔒 owner-LUẬT
A1	mfe-eval.ps1 (Memory-Fidelity)	CÓ, hôm nay — fault-inject 3-arm ĐỎ đúng 2/2 (§②). Trước đó: chưa ca tự-nhiên nào	efficacy-outcome (nhánh GOODHART-WARN) + activity (span/FIT). Tự tách đúng H6.7 ở :8-9	🔴 CÓ — dạng MỚI, ngoài 4 dạng của hub: "tự-ăn-nhân-chứng" (§②.3)	dormant-đúng-thiết-kế cho FIT; nhưng WARN đang bị tự vô-hiệu	SỬA (bỏ ghi-đè state khi chỉ đọc)
A2	applied-eval-nokey.ps1	Có — :276 tự khai "caught by fault-injection: a sabotaged gate printed CASE FAIL yet the summary…"	efficacy-outcome thuần (gate + 3-case selftest)	KHÔNG — mẫu-mực ngược: tự in "This file is a MECHANISM, NOT a number" + 4 caveat + từ-chối phát số	thừa-thật nếu bỏ = mất positive-control duy nhất dạng gate	GIỮ (mẫu chuẩn cho cả bộ)
A3	spawn-model-audit.ps1	Có — S126 2026-07-16 đo spawn-param THẮNG frontmatter hard-pin (ghi ngay trong §E.5)	activity + integrity (20/20 model+effort); tự khai KHÔNG phải enforcement	KHÔNG — có hẳn §E "what this report does NOT say" 6 điều phủ-định	dormant-đúng-thiết-kế (retro-only, tự khai :E.4)	GIỮ
A4	nhip-no-probe.ps1	Có (gián-tiếp) — error-ledger.md:50 liệt nó là 1 trong 2 lưới của carve-out; :61 kiểm S142 = SỐNG	activity (đếm nhịp/ngày) — không efficacy	Chưa thấy	dormant-đúng-thiết-kế (lưới nhắc, rẻ)	GIỮ
A5	distill-shard-probe.ps1	Chưa từng KÊU tự-nhiên. Live: pending=15 | nguong=15 => IM	activity (đếm shard chưa-gist)	⚠️ (d) nhẹ — header :3 ghi "anh chot 7 @S144" nhưng thân :55-57 + config live = 15. Header stale	dormant; NHƯNG level-blind: ngưỡng neo vào hiện-trạng (-gt cố ý, :55-57 có lý-do owner) ⇒ chỉ kêu khi thêm 1, không bao giờ kêu vì "15 đã nhiều"	SỬA (chỉ vá comment :3)
A6	measure-agent-memory.ps1	Chưa từng — tool xuất JSON byte, không có verdict	activity/integrity thuần (byte + l1_over_30kb)	Chưa thấy	dormant-đúng-thiết-kế (là nguồn số cho thước khác)	GIỮ
A7	closeout-sentinel.ps1	Chưa đo được trong lượt này — -Commit là mandatory, không chạy trần được	efficacy-outcome (per-commit ritual)	Chưa thấy; :35/:61-71 tự khai positive-control giới-hạn ở obs-pair	dormant-đúng-thiết-kế	GIỮ (chưa đủ dữ-liệu để đòi sửa)

B. 11 check TRONG governance-detectors.ps1 (TOTAL live = 46)

🔴 Kể bằng THÀNH-PHẦN, không bằng số tổng (bài Goodhart — số tổng che mất ai đang nói):

46 = 24 C1-wikilink  +  15 C2-derived-stale  +  3 H24-2-carry  +  3 C3-vocab-fork  +  1 H24-1-title

#	Check	Q1 — bắt lỗi thật?	Q2 — lớp đo	Q3 — tự-nói?	Q4 — bỏ thì lọt gì	Verdict	🔒 owner-SỐ	🔒 owner-LUẬT
B1	C1 broken-gotcha-ref	Live 0 flag	integrity	Không	dormant-đúng-thiết-kế	GIỮ
B2	C1 dangling-wikilink	Live 24 flag = 52% toàn TOTAL. Cùng MỘT lớp: hyphen⟂underscore. Chính detector tự in "hyphen vs underscore basename fork is common"	integrity	⚠️ (c) nhẹ — biết nguyên-nhân mà vẫn phát 24 LOW không ai đóng ⇒ bão-hoà nhiễu, nuốt tín-hiệu	dormant nhưng đang che 22 flag còn lại	SỬA (normalize -⟂_ rồi mới đếm)
B3	C2/B3 derived-staleness	Live 15 flag; canonical khớp đĩa (mig 67 · gotcha 83)	integrity	Không — tự in caveat "soft net… can false-positive" + H18-A ratio-band hạ LOW	thừa-thật KHÔNG; đây là lưới chống drift B1	GIỮ
B4	C3 vocab-fork	Live 3 flag (wave-folder⟂run-trace · Dự trù⟂Ngân sách PRO · two-tier⟂all-inherit⟂worker-tier-pin)	integrity	Không (đã vá lớp citation-trap trước đó)	dormant-đúng-thiết-kế	GIỮ
B5	C4 self-line exclusion	CÓ — live: 6 paths excluded, 0 self-match, 0 leaked	integrity về chính bộ đo (meta-guard)	Đây là thuốc giải dạng tự-nói, không phải bệnh	bỏ = detector tự-khớp chính mình (citation-trap đã cháy thật)	GIỮ
B6	C5 WAL guardrail	Live [OK] WAL.md = 30 lines (<= 40)	integrity (hard cap)	Không	dormant-đúng-thiết-kế (H22)	GIỮ
B7	C6 cite-2-tier (INFORM)	Live 0/48 file	integrity	Không — tách InformCount, không trộn TOTAL	dormant, mới	GIỮ
B8	C9 hmw WIDTH mirror (INFORM)	Live [ok] 20 == 20; :1545 khai FAIL-LOUD khi thiếu mirror	integrity	Không	dormant-đúng-thiết-kế	GIỮ
B9	C10 logic-session folder (INFORM)	Live [ok] session-3 is OPEN, 0 flag	integrity	Không	dormant, mới @S149	GIỮ
B10	C11 H24 FLAG-khuôn (INFORM)	Live 0 — và tự khai: "MEASURED NOTHING… a 0 after a skip is not a green"	integrity	KHÔNG — mẫu-mực: tự tố cáo "xanh-vì-mù" của chính mình	dormant, mới @S149	GIỮ
B11	H24-2 carry-age	Live 3 flag (uat-s134 ×7 · uat-s133 ×9 · hook-vs-budget ×13)	activity (đếm streak)	🔴 CÓ — dạng (d) chú-thích-tự-mâu-thuẫn, XÁC NHẬN TRONG CODE (§②.4)	dormant; nhưng đang bơm số vào TOTAL	SỬA
—	H24-1 title · H24-3 label-lag · H24-4 pending-flip · H24-5 counter-ancestor · H25-1 closeout-ritual · H25-2 role-notebook	H24-1 = 1 flag · H24-3 [skip] · H24-4/5 = 0 · H25-1 [ok] 3/3 · H25-2 roster 20, diaries-ok 18, inert 2	integrity	H24-3 in [skip] trung-thực	phụ-lục, không đủ chỗ soi kỹ lượt này	GIỮ (chưa rà sâu — khai thẳng)

Tổng verdict: GIỮ 13 · SỬA 4 (A1 · A5 · B2 · B11) · BỎ 0 · THÊM 1 đề-xuất (§③).

② Fault-inject THẬT (-RepoRoot cây tạm, khuôn S95) + 2 phát hiện phái sinh

②.1 Chọn thước: mfe-eval.ps1 — chưa từng bị fault-inject

Grep docs/governance/ + runs/ ra 8 hit mfe-eval nhưng 0 hit fault-inject cho chính nó; hit gần nhất (adap-reports/2026-06-30…harness-17…:49) chỉ chứng "mfe-eval.ps1 (A2 reuse) exit-0 KHÔNG vỡ" = happy-path, không chứng có RĂNG. Đủ điều-kiện "chọn thước chưa từng inject".

②.2 Kết quả — 3 arm, cây tạm ngoài git, script scratchpad/mfe-faultinject.ps1

ARM	Bơm gì	FIT	GOODHART	Kỳ vọng	Kết
0 negative-control	không bơm (bản sao sạch)	PASS	no-warn	PASS / no-warn	✅
A	.mfe-state.json.strikes_total 23 → 3	PASS	WARN-FIRED	WARN	✅
B	lead_tokens 380000 → 100	OVER	no-warn	OVER	✅

Dòng ĐỎ thật arm A: GOODHART-WARN: strikes rose (3 -> 23) while set still FITS -> coverage may LIE (set 'fits' but errors recur = not actually applied) Dòng ĐỎ thật arm B: FIT = OVER (worst-case exceeds cap) -> decision: INCREASE budget

⇒ mfe-eval CÓ RĂNG, 2/2 nhánh, im đúng lúc sạch. Không phải "xanh-vì-mù".

②.3 🔴 Phát hiện 1 — dạng tự-nói-chuyện THỨ 5, chưa có trong 4 dạng của hub: "thước tự ăn nhân-chứng của mình"

mfe-eval.ps1 tự khai :16 "a measure-and-report tool, NOT a build gate" và :12-13 "READ-ONLY on token_governor" — nhưng nó GHI .claude/agent-memory/.mfe-state.json mỗi lần chạy (:205-209 WriteAllText; write-ops = 2, là script duy nhất ghi trong 8 thước đọc-only đã soi).

Hệ quả không phải "bẩn git" mà nặng hơn — cơ-chế cảnh-báo tự tháo ngòi:

• :193 đọc $lastStrikes từ state → :205-209 ghi đè ngay state bằng số hiện-tại.
• ⇒ sau BẤT KỲ lần chạy nào, last == current ⇒ GOODHART-WARN không thể nổ cho tới khi strikes tăng tiếp.
• ⇒ ai chạy MFE "chỉ để xem" (đúng như tôi làm hôm nay) là đốt mất cửa-sổ cảnh-báo của lần chạy chính-thức kế tiếp. Quan-sát tiêu-thụ nhân-chứng.

Bằng chứng sống, chính tôi gây ra: lần chạy baseline làm git status hiện M .claude/agent-memory/.mfe-state.json; diff thật = "at": 2026-07-22 → 2026-07-25 và "rca_entries": 12 → 14. Đã git checkout -- hoàn nguyên, git sạch lại (giữ đúng isolation B6, và trả lại cửa-sổ warn cho lần chạy thật).

②.4 🔴 Phát hiện 2 — H24-2 = dạng (d) nguyên-bản, xác nhận trong code

• :909 phát cờ bằng Write-Flag ⇒ tăng $script:FlagCount = TOTAL.
• Nhưng nội-dung cờ ghi gap-carry-aged **[INFORM]** + resolve "INFORM-only - **no action forced**"; tiêu-đề section :820 cũng ghi (INFORM-only); docstring :24 ghi INFORM-only.
• Trong khi :1818 liệt roster INFORM-ONLY = C6 + H24-4 + H24-5 + C9 + C11 — KHÔNG có H24-2; và chính-sách :65-73 nói rõ sink INFORM là để "a brand-new net… must not move the audited TOTAL".

⇒ Cùng một output vừa nói "không ép hành-động" vừa tính vào TOTAL bị siết. Nguyên-nhân nhiều khả năng: H24-2 có TRƯỚC khi sink InformCount ra đời (:65 chỉ kể C6, H24-4), lúc thêm sink quên di-cư.

Ảnh hưởng đo được: 3/46 = 6,5% TOTAL là cờ tự-nhận không-ép. Nặng hơn: acceptance của chính wave này (spec:19) là "detector TOTAL không tăng" — mà một [carry:] owner cố ý giữ sẽ đẩy TOTAL lên và đọc thành hồi-quy.

⚠️ Nhưng vá là RỜI TẬP-ĐO: chuyển 3 cờ sang INFORM hạ TOTAL 46→43 — trông y hệt tiến-bộ mà không sửa gì thật (đúng bài feedback_goodhart_leave_measurement_set). ⇒ KHÔNG tự vá. Phải owner chốt: baseline mới 43 có được ratify không, hay giữ 46 và chỉ đổi nhãn? → cột 🔒 owner-LUẬT của B11.

③ THÊM-mới (đề-xuất, KHÔNG tự wire)

1. Thước đo "bề-mặt-đo có được cập-nhật không" — Fact-0 cho thấy trio chạy 3 ngày trước mà 2 chỗ văn-bản vẫn ghi "pending", 0 thước phát hiện. Đề-xuất check: role có return-file trong runs/** mà memory-budget.json.rollout còn chữ first-run pending ⇒ FLAG INFORM. (Họ-hàng "first-run-role-has-diary" đã đề-xuất lên hub tại error-ledger.md:118, đang chờ hub canonical — SE không tự chế detector riêng.)
2. Đưa dạng-5 "tự-ăn-nhân-chứng" vào khung 4-câu (câu 3 thành 5 dạng) — đề-xuất ngược lên hub qua /adap-request nếu anh duyệt.

④ KHÔNG CHẮC / honest-caveat

1. A7 closeout-sentinel chưa đo — -Commit mandatory; verdict GIỮ là suy từ đọc code, không phải từ chạy. Khai thẳng.
2. Dòng cuối bảng B (H24-1/3/4/5 + H25-1/2) gộp 6 check vào 1 dòng — chưa rà 4 câu từng cái. Đây là thiếu-sót có chủ-đích do trần lượt, KHÔNG phải "đã phủ hết". Cf. feedback_meta_count_selfcoverage_blindspot: không lấy số tổng thay cho từng dòng.
3. Q1 của A4/A5/A6/A7 dựa trên vắng-mặt bằng-chứng (grep sổ ra 0 ca) — vắng-mặt ≠ chứng-minh chưa từng bắt; sổ có thể ghi thiếu.
4. Fault-inject chỉ phủ mfe-eval (1/17 thước). 16 thước còn lại chưa có fixture đông-lạnh — đúng lớp hub cảnh báo (thư:31 17/18 check thiếu positive-control). Không suy ra "cả bộ có răng".
5. Cây tạm nằm ở scratchpad NGOÀI repo (đúng chỗ tạm được cấp) — nên git diff không thấy; containment chứng bằng git status sạch sau khi hoàn nguyên .mfe-state.json, không phải bằng diff cây tạm.
6. Số hub KHÔNG chép (thư :55 dặn) — mọi con số trên là SE tự đo hôm nay.

⑤ Report đã ghi

docs/governance/adap-reports/2026-07-21-Governance-eval-quality-audit-ra-thuoc-eval-cua-eval.md — nấc executed-partial, đủ 5 trường format-LOCK, trỏ ngược file này cho bảng.

Log tiến-trình

• [L1] khung rỗng ghi đĩa TRƯỚC khi đo. [L2] đọc spec + sub-invest §② + thư nguồn TRỌN.
• [L3-4] Fact-0: ls+git log folder trio · budget.json:186-188 · tự tìm ra nguồn-3 (diary trio) · đo byte 3 diary · truy git log -p drift −5B refine.
• [L5-7] chạy detector suite live (TOTAL 46) + tally thành-phần theo section + soi code :909/:65-73/:1818 xác nhận mâu-thuẫn H24-2.
• [L8-10] map input mfe-eval → dựng mfe-faultinject.ps1 3-arm → vá bug PS5.1 (if inline không phải expression) → PASS 3/3.
• [L11] git status bắt chính mình làm bẩn .mfe-state.json → truy :205-209 → ra phát-hiện dạng-5 → git checkout -- hoàn nguyên.
• [L12] probe còn lại (nhip-no · distill-shard · spawn-model · applied-eval · measure-agent) + write-op scan 8 script → mfe là outlier duy nhất.
• [L13] bảng 18 dòng + report.