23bbe97f39
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2.2 KiB
name, description, metadata
| name | description | metadata | ||||||
|---|---|---|---|---|---|---|---|---|
| feedback_faultinjection_proves_teeth | Chứng checker/guard có RĂNG bằng fault-injection (chạy trên cây-tạm-có-lỗi → confirm FLAG), KHÔNG chỉ happy-path PASS |
|
Khi verify một deterministic checker/detector/guard (vd memory-selfimprove-audit.ps1, governance-detectors, permission-guard), happy-path PASS + reasoning "nó sẽ bắt lỗi" là CHƯA ĐỦ. Phải fault-injection: copy artifact-set vào cây-tạm (dùng -RepoRoot <temp> nếu script nhận param), inject 1 lỗi/lần (thêm store_memory vào tools:, xoá schema-guard, tạo file over-cap không index, xoá dependency), chạy, confirm nó ra đúng GAP kỳ-vọng — và no-false-flag khi format hợp-lệ (vd body nhắc "store_memory" ≠ tools:-line có nó). Test cả boundary (==cap im lặng / >cap flag) + anti-Goodhart (inject fix → tiêu-chí FLIP GAP→PASS = chứng recompute-live KHÔNG frozen-tally).
Why: WF2 (đọc + reason PASS) trượt được lỗi mà WF3 (inject thật) bắt. Checker "xanh trên happy-path" có thể là false-PASS (regex sai, đọc nhầm nguồn, boundary off-by-one). Chỉ chạy-trên-lỗi-thật mới phân-biệt "guard WIRED thật" vs "guard tồn-tại-nhưng-thủng". S95 WF3 chứng răng thật cho spec-audit (13 inject) — riêng bước này bắt được 2 điểm giòn (regex A2 hardcode nháy-đơn, A1 substring chưa word-boundary) mà WF2 không thấy.
How to apply: verify-heavy checker → thêm 1 lane fault-injection (return-only, ghi scratchpad temp KHÔNG đụng repo, md5-verify sau restore). Script nhận -RepoRoot/--config-path = inject dễ (cây tạm 1 phần, Test-Path guard cho thiếu-file → GAP/N-A OK). Verify text-anchor inject bằng CHÍNH regex script dưới CHÍNH engine (PowerShell -match case-insensitive), ĐỪNG tin grep bash (case/boundary khác) — reviewer S95 sai B2-strip lần đầu vì bash \bD8\b ≠ PS -match. Liên quan feedback_workflow_fanout_reliability (verify-heavy → em-main self-gate khi lane rỗng) + feedback_high_to_max_multiagent_quality (Max re-review wire/financial claim).