8b6df0a396
Ap spec-apply-hub-s145-v2 (5 axis, governance-only: 0 prod-code, 0 migration). Workflow S145 chet giua chung -> /tiep §4 relaunch-cat-gon wf_3d803740-41d 3/3 DONE. Owner-decision @S146: - session_ctx_kb = 64 TUONG-MINH (giu nguyen caveat ghost-wire: 0 reader) - session-model: scaffold IDEMPOTENT (tach cap-SO vs tao-THU-MUC) · closed.md WIRE (session-end §6.3-bis) · V2 AUTO (go cong NGUOI, GIU cong NHIP 6/15/3) Landed: C7 §N.8 predicate 4-ve · hook wal-flush.ps1 4 path (+.claude/sessions/) · San-3 tin-hieu ⑤ + ORPHAN-L · D2 KIEM end-only · §L.c completeness-gate co RANG. LIVE-VERIFY hook 4-path PASS repo THAT (da7ee8a). Session-model chay TRON VONG dau tien: pause-S146 -> resume-S146 -> ORPHAN-L can so. H24 force-fire (P=8 pause >= 1, luat auto moi): 2 vai + h24-audit -> 7 FLAG, va het: - sweep-consent sot 6 site (h24-audit.md:4 = frontmatter description) - closed.md wired-but-declared-unwired (ghost-wire CHIEU NGUOC) - owner-decision [7] BI GHI DE do tai-dung slot-index -> mat uy-quyen push 3/3 vai lane-H24 garble #53: ghi-dia-SOM cuu tron, ghi-MUON mat trang. So: orphan run-folder 3->0 · carry 14->20 (co tag [carry:*]) · +E-013 +E-014 error-ledger · +memory feedback_absence_looks_like_clean · .gitignore +lock file. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
9.3 KiB
from, date, type, supersedes_scope, status, reviewer_gate, content_sha256
| from | date | type | supersedes_scope | status | reviewer_gate | content_sha256 |
|---|---|---|---|---|---|---|
| ai_infra | 2026-07-21 | update | DELTA chồng 2 bản: 'harness đóng đủ vòng' 2026-07-19 + 'hub tự-đánh-giá 3-góc' 2026-07-19 — bổ sung ĐỢT RÀ CHẤT LƯỢNG EVAL (eval-của-eval) chủ dự án hub đã mở và chạy trọn; các khoản cũ giữ nguyên. | PUBLISHED | PASS-W-FIXES (0C/1M/3m ALL-FOLDED s107 — leak-scan CLEAN 8-class · số 9/10-khớp + 239 live-verified · falsify 3/3-PASS) | c04d39dbc8f50a1c0ce0865fe2347a930cbdc8f1e43723d852cec5eee1dbe046 |
Đợt rà chất lượng eval — "rà chính cái thước đo" (eval-của-eval): khung 4 câu hỏi + kết quả hub chạy thật
Chủ dự án hub đặt đề bài từ trước (nguyên văn rút gọn): "kiểm tra chất lượng eval từng vòng, thừa - thiếu, cần điều chỉnh bổ sung — khắc phục hoàn toàn điểm yếu nhất của harness này là eval", và ngày 2026-07-21 ra lệnh mở đợt, áp kết quả, rồi báo các dự án chị em. Bản này thuật lại KHUNG rà (để chị em tự rà bộ thước của mình) và kết quả hub làm ví dụ sống. Khung = sàn chức năng; hình thức tổ chức = mỗi nhà tự quyết.
Khoản 1 — Khung rà: 4 câu hỏi xuyên suốt, áp cho TỪNG thước đo
Đối tượng rà là CÁI THƯỚC (detector, bộ đếm, gate, lens kiểm), không phải công việc mà thước phục vụ. Với từng thước, trả lời đủ:
- Thước này đã bao giờ bắt được lỗi THẬT chưa? Trích dẫn lần gần nhất từ sổ lỗi / nhật ký (dòng cụ thể). "Chưa từng bắt gì" cũng là dữ liệu quý — khai thẳng, đừng giấu.
- Nó đo KẾT QUẢ hay đếm HOẠT ĐỘNG? Ba lớp: activity (đếm lần chạy, chuỗi ngày sạch, phần trăm luôn-100) · integrity (bất biến cấu trúc: byte khớp, tham chiếu còn sống) · outcome (lỗi thật bắt được / lỗi lọt / kết quả được dùng). Lưu ý tách hai nghĩa của "outcome": efficacy-outcome (hệ kiểm có bắt được lỗi không) khác use-outcome (tri thức lưu có được DÙNG trong việc thật không) — gộp hai cái là tự lừa.
- Nó có thể "tự nói chuyện với mình" không? Bốn dạng đã bắt được thật ở hub: (a) token-hoá thạch — bộ trích key nhặt mảnh của một mã dài hơn nằm trong câu chữ lặp mỗi dòng, rồi đếm tuổi mảnh đó như việc-tồn-đọng (ở hub: một mảnh tên-luật bị đếm già 7 phiên); (b) đếm-chính-dòng-định-nghĩa — bộ đếm tái-phát đếm cả dòng khai báo của chính guard làm "lần tái phát"; (c) nhãn-hứa-kết-quả-không-ép — check tên là "xu hướng giảm" nhưng PASS mọi hướng, kể cả khi chuỗi đang TĂNG; (d) chú-thích-tự-mâu-thuẫn — cùng một output in cả "= số đo thật" lẫn "CHƯA kiểm chứng là số thật".
- Bỏ thước này thì lỗi nào lọt? Trả lời được = thước có chỗ đứng; không trả lời được = ứng viên thừa. Phân biệt quan trọng: dormant-đúng-thiết-kế (rẻ, chưa có ca nhưng CÓ ca lịch sử nó SẼ bắt — như máy báo khói) khác thừa-thật (cấu trúc không thể kêu — ví dụ hub: một detector có danh sách cặp-từ-cần-so RỖNG, nghĩa là không bao giờ kêu được).
Mỗi thước chốt một verdict {GIỮ / SỬA / BỎ / THÊM-mới} kèm phân loại thẩm quyền {AI-tự-sửa (vá máy, nhãn, filter) · chủ-dự-án-quyết-SỐ (ngưỡng, target) · chủ-dự-án-quyết-LUẬT (bỏ check, đổi cơ chế, thêm gate)} — AI không tự quyết hai cột sau.
Khoản 2 — Phát hiện gộp của hub (5 điểm, đã đo thật)
- Điểm yếu thật = thiếu tầng đo efficacy-outcome, và dữ liệu ĐÃ CÓ SẴN. Trong 11 instrument eval của hub, 0 cái đo "hệ kiểm có bắt lỗi thật không" — trong khi dữ liệu bắt-lỗi/lỗi-lọt/verdict-bị-lật đã nằm đầy trong sổ lỗi và nhật ký các vai, chỉ chưa được gom thành số. Điểm yếu là dữ-liệu-chưa-gom, không phải dữ-liệu-thiếu.
- Tín hiệu đắt nhất đo được bằng đếm tay: ở các ca tranh chấp giữa tầng đo và tầng kiểm, tầng đo chưa từng thắng lần nào (0/7) — tầng kiểm lật đúng 100% ca. Đề bài của chủ dự án ("eval là điểm yếu nhất") đúng bằng số đếm được, ở lớp mới: lớp cũ (nhãn-số-đo giả) đã vá lành từ trước; lớp yếu hiện tại là đo-kết-quả.
- Nhãn verdict đã bão hòa: 0 FAIL trên 268 verdict gần nhất, "PASS-kèm-cờ" là mặc định — nhãn không còn mang tín hiệu, 100% tín hiệu sống trong NỘI DUNG cờ. Không phải đóng-dấu-bừa (các cờ đều là lỗi thật) — là nhãn hết răng. Muốn nhãn có răng lại = gắn điều kiện FAIL sống (lỗi-lọt phát hiện được / tỷ lệ lật vượt ngưỡng) — đó là quyết-LUẬT của chủ dự án.
- Bộ kiểm-tra-đặc-tả của hub có 17/18 check không có positive-control (không có ca-giả-cắm để chứng minh check còn kêu được) — đúng lớp "xanh-vì-mù" từng giết một validator của hub trước đây (nó PASS đúng 3 file đã chết). Bài học chép được: mọi detector cần ít nhất một fixture đông lạnh chứng minh nó CÓ THỂ đỏ.
- Thước bão hòa 100% chia hai loại, phải tách: loại bị ghim cấu trúc (tử số bé hơn mẫu số 40 lần — không bao giờ khác 100, thuần trang trí) và loại đang-100-nhưng-có-răng (đã từng tụt xuống dưới 100 khi có lỗi thật). Loại một = hạ khỏi headline; loại hai = giữ.
Khoản 3 — Hub đã sửa gì ngay trong đợt (ví dụ mức "AI-tự-sửa")
Sáu chỗ vá (mỗi chỗ có test đối chứng, bộ test tổng 239 xanh); trong đó một chỗ phải vá lần hai — bản vá đầu tự đẻ lỗi ngược, cổng kiểm duyệt bắt được, vá lại có test:
- Lọc mảnh-hoá-thạch khỏi bộ đếm tuổi việc-tồn-đọng (kèm 6 test dương/âm).
- Bộ đếm tái-phát chuyển sang so-cận-kề + đòi bằng-chứng-phiên — hết đếm dòng-định-nghĩa, hết nuốt "0-lần-mới" thành một lần (4 test). Đây là chỗ vá-lần-hai: bản vá đầu bỏ hẳn dòng-định-nghĩa nên nuốt luôn lịch-sử-tái-phát THẬT nằm trong chính dòng đó; bản vá hai chỉ đếm dòng-định-nghĩa khi nó mang bằng-chứng-phiên tường minh.
- Tách "token lạ chưa từng có trong sổ" khỏi "guard thật bị thiếu" trong gate nén-kết-tinh.
- Check sổ-harvest dứt được báo giả lặp-mỗi-phiên trên run đang mở (đọc trạng thái mạch-việc thay vì đoán; ca hiếm mạch-việc kẹt còn lưới thứ-hai ở cửa mở phiên sau bắt).
- Đổi nhãn check "xu hướng giảm" thành "chuỗi-số-được-ghi, hướng chỉ để báo" cho khớp hành vi thật.
- Sửa chú-thích-tự-mâu-thuẫn trong instrument đo dung lượng.
Khoản 4 — Quy trình đợt rà (chép được nguyên khối)
Fan-out mỗi vòng một vai rà thước của vòng đó + một vai adversarial rà xuyên suốt (4 hở: hoạt-động≠kết-quả · nhãn-bão-hòa · tự-chấm-không-máy · tải-chú-ý-chủ-dự-án) → trưởng phiên tổng hợp BẢN RÀ phân 3 cột thẩm quyền → áp ngay cột AI-tự-sửa (kèm test) → cổng kiểm duyệt độc lập chấm CẢ bản rà LẪN các bản vá bằng CHẠY LẠI (không đọc-có-vẻ-đúng) → gộp cờ của cổng → mới phát bản này. Cổng của hub bắt được 2 lỗi MAJOR trong chính bản rà (một con số không tái-lập được vì đo trong cửa sổ trạng thái đặc biệt; một chỗ nén rớt caveat mà vai nguồn đã khai) — tức là bản-rà-về-bệnh-đo cũng dính bệnh-đo, và cổng đứng sau là thứ cứu nó. Giữ cổng, đừng bỏ.
Ba phép thử nhanh (tự kiểm sau khi áp)
- Chọn ngẫu nhiên 3 thước đang "xanh liên tục" — mỗi cái trả lời được câu "lần bắt lỗi thật gần nhất là khi nào, dòng nào trong sổ" trong 2 phút không?
- Tự tay bịa một input chắc-chắn-sai cho một detector bất kỳ chạy — nó có ĐỎ không? Không đỏ (hoặc không có cách nào làm nó đỏ) = xanh-vì-mù. (Không cần hạ tầng gì — một ca giả bịa tay là đủ.)
- Đếm các ca tầng-kiểm lật tầng-đo trong 3 phiên gần nhất — tỷ lệ 0% (kiểm không làm gì) hay 100% (đo vô dụng) đều là cờ; khoảng giữa là lành.
— Honest-caveat: các con số trong bản này là số hub tự đo trên chính mình (một dự án, một giai đoạn); chị em áp KHUNG và tự đo số của mình, đừng chép số hub làm chuẩn. Phần "thêm máy gom efficacy-outcome" ở hub mới ở mức đề-xuất-có-spec (chưa build — theo đúng luật cửa-duyệt-hứa-máy, cái gì chưa có máy thì nói là chưa có).