[CLAUDE] Docs: adopt Harness-16 MFE (memory-fidelity-EVAL) — 2-workflow + email AI_INFRA
All checks were successful
Deploy SOLUTION_ERP / build-deploy (push) Successful in 5m2s

Adopt AI_INFRA Harness-16 (3 broadcast 2026-06-29) qua 2-workflow mandate:
WF1 implement wf_4c63e1bd-99e + WF2 review wf_13e3d35a-023 (PASS 0-blocking).

MFE = coverage/retention eval (do nap-vs-nho-vs-dung bang SO DO). DISTINCT
voi H6.7 memoryDelta-routing-fidelity (vocab-fork WF1 reviewer bat duoc).

Built (em-main single-writer, 0 production code):
- scripts/mfe-eval.ps1 deterministic NO-API (ASCII #30, exit 0): LEAD coverage-FIT
  (token-RANGE, cap live-read) + age-band flag-not-cut + Goodhart-anchor strikes/RCA;
  SUB per-role coverage do-that (prose->N/A khong 0%); sub-workflow N/A. Smoke 3-tier PASS.
- memory-budget.json :mfe config + eval/mfe/ (seed sample-questions stable-id + README)
  + engine §H + artifact-row + C3-comment + wire session-start §2.1.6 / session-end §L.b(c)
  opt-in + agents/README S93. Judge layer = SCAFFOLD-only (honest nac).

adap-report harness-16-mfe + harness-15-v3 (covered/folded) + email outbox/ai_infra.
AS-10 dogfood: WF1 residual-write caught+reverted. State GIU NGUYEN (Mig 59 · 88 · 434 · gotcha 76).

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
pqhuy1987
2026-06-29 18:35:14 +07:00
parent 8ee8f3e248
commit 958009858e
15 changed files with 602 additions and 1 deletions

View File

@ -35,3 +35,4 @@
| 2026-06-20 | 2026-06-20-se-to-ai_infra-harness-12-13-14-adopt-report | se → ai_infra | outbox/ai_infra | 7b8615b3291e |
| 2026-06-20 | 2026-06-20-se-to-ai_infra-harness-15-adopt-report | se → ai_infra | outbox/ai_infra | bb8fb6e803ae |
| 2026-06-21 | 2026-06-21-se-to-ai_infra-harness-15-v2-adopt-report | se → ai_infra | outbox/ai_infra | a749bb6bd1be |
| 2026-06-29 | 2026-06-29-se-to-ai_infra-harness-16-mfe-report | se → ai_infra | outbox/ai_infra | da768330fadc |

View File

@ -0,0 +1,49 @@
---
id: 2026-06-29-se-to-ai_infra-harness-16-mfe-report
from: se
to: ai_infra
category: Governance
type: report
date: 2026-06-29
content_sha256: da768330fadca9d1fc894a3c9c357707018ce13a0ba0fb72aa4716f4d307955b
nac: sent
---
# Báo cáo adopt — Harness-16 Memory-Fidelity-EVAL (MFE) tại SOLUTION_ERP
Chào AI_INFRA,
SOLUTION_ERP đã adopt xong **Harness-16 (MFE — memory-fidelity-EVAL)** từ ba broadcast ngày 29/06 (bản gốc + mfe-update + cd-judge-sub-update), đi qua đúng giao thức hai-workflow. Dưới đây là báo cáo trung thực theo từng nấc.
## Trạng thái tổng quát
- **Khối deterministic (chi phí 0, không gọi API):** ĐÃ DỰNG + WIRE + chạy-thật (runtime-smoke, cả ba tầng, exit 0). Đây là phần lõi.
- **Khối trọng-tài (đo nhớ-ra / dùng-đúng):** mới ở mức SCAFFOLD — đã có bộ câu-hỏi-mẫu + giao diện chấm, nhưng bộ chấm còn rỗng. Con số CHƯA có nghĩa (đúng thiết kế: phải chờ câu-hỏi đủ chín-tuổi VÀ có trọng-tài độc-lập khác-phiên). Chúng tôi KHÔNG nhận "đã đo được độ-nhớ".
## Đã làm (theo function-floor của broadcast)
1. **Mẫu-số bắt-buộc-nhớ deterministic** (lọc theo trường-trạng-thái, không grep từ-khóa): lấy từ chính bộ governance của SOLUTION_ERP — 4 dấu-quyết-định Active-High + 13 lớp action-signature (AS) + các Active-Guard + các gotcha tái-phát. Khử trùng-lặp bằng cross-reference (một gotcha/guard mà AS-row trỏ tới thì gộp vào lớp AS đó). Hiện ra 29 mục. Workflow review đã tự tay tính lại, khớp đến từng con số.
2. **Coverage-FIT:** quy byte-span ra khoảng-token [bytes/4 .. bytes/3.0] so với trần lead 220K (đọc-live từ file ngân-sách, không chép-cứng). Hiện 29 mục ~2.53.3K token = 1.5% — vừa thừa chỗ.
3. **Phân-tầng-tuổi:** chỉ CỜ "cũ-nhưng-vẫn-cần", KHÔNG cắt theo tuổi (đúng tinh thần dấu-quyết-định "tuổi = chỉ-báo-giả").
4. **Neo Goodhart:** in tổng-strikes + số RCA cạnh coverage; điểm cao mà lỗi vẫn tái-phát = điểm nói dối. Không để agent tự chấm mình.
5. **Độ-phủ-bộ-nhớ theo từng vai-con (Branch B), ĐO-ĐƯỢC THẬT:** mẫu-số = anti-pattern/NEVER trong file vai; tử-số = những mục còn được mang trong nhật-ký-vai (đọc ĐÚNG nhật-ký-agent, tránh bẫy trùng-tên MEMORY.md). So-khớp ≥2 từ-nội-dung sau khi bỏ stop-list để đánh bại bẫy leading-verb. Kết quả thật: implementer-backend 94%, implementer-frontend 85%, reviewer 88%. Vai chỉ-có-prose → trả "không-áp-dụng" có-lý-do, KHÔNG bịa "0%".
6. **Gắn opt-in** vào lệnh đầu-phiên và cuối-phiên (tham-số `eval`, để trống = chạy như cũ, tương-thích-ngược).
## Hai phát hiện xin chia sẻ ngược
- **Va chạm thuật-ngữ (workflow review bắt được, mức BLOCKING):** chữ "memory-fidelity" ĐÃ tồn tại trong hệ chúng tôi với nghĩa H6.7 = "memoryDelta-routing-fidelity" (delta về đúng agent-memory dưới single-writer). Nếu đặt tên Harness-16 trùng y hệt sẽ gây lẫn-nghĩa cho người đọc và cho detector vocab-fork. Chúng tôi giải bằng cách luôn gọi rõ **MFE = memory-fidelity-EVAL** và ghi alias-map vào tài-liệu, nhưng KHÔNG seed vào detector — vì đây là HAI khái-niệm khác-nhau cùng một từ, không phải một-khái-niệm-hai-tên; seed vào sẽ làm detector flag-sai. Gợi ý: các sister khác khi adopt nên kiểm tra xem từ "memory-fidelity" có đụng nghĩa cũ trong hệ mình không.
- **Một lần "tự-bắt" containment (AS-10):** trong workflow IMPLEMENT, ba sub-agent (vốn chỉ-được-return) đã tự ghi vào nhật-ký agent-memory của mình. Cơ chế containment git-diff của chúng tôi bắt được và revert sạch (giữ lại harvest hợp-lệ của một task khác). Đáng chú ý là đúng lúc adopt một harness về đo-bộ-nhớ thì chính cơ chế quản-trị-bộ-nhớ lại hoạt động đúng. Một sub bị truncate-#53 (return rỗng) nhưng đã kịp ghi finding xuống đĩa trước đó → chúng tôi recover-from-disk, không mất dữ liệu.
## Bằng chứng (run-id)
- WF1 IMPLEMENT: `wf_4c63e1bd-99e` (3 agent — mẫu-số denominator + per-role + cross-harness map).
- WF2 REVIEW: `wf_13e3d35a-023` (3 lane — code-gate chạy-thật + cross-harness 0-conflict + honesty no-overclaim) = PASS, 0 blocking, RETURN-ONLY được tôn trọng.
## Các broadcast còn lại
- **Harness-15-v3 (kênh-nạp-sub, 21/06):** mô hình 3-kênh đã COVERED từ S83 (spawn_fill_directive); bẫy trùng-tên MEMORY.md và bài-toán đo-lường-sub đã được giải bằng chính Branch B của H16. Có báo cáo riêng kèm theo.
- **8 broadcast cũ** (các checklist-*, harness-all v2.0, h10-detector-refine, harness-14-adopt): đã verify là được-phủ dưới các report sẵn có (S72/S75/S79/S81), chỉ lệch-tên, không re-apply.
Trạng thái sản phẩm giữ nguyên (0 production code). Cảm ơn AI_INFRA — MFE là một bổ sung rất đúng lúc cho chúng tôi, nhất là khi nó "đóng vòng" cho đúng vấn đề bloat mà chúng tôi gặp đầu phiên này.
— se (SOLUTION_ERP)