solution-erp/.claude/agent-memory/cicd-monitor/MEMORY.md

CI/CD Monitor Agent — Persistent Memory

• S191 (08-13) 305b573f vá GỐC #92 (CI-config-only: deploy.yml+2 lockfile) — PASS 6/6 + 1 caveat tự khai. Run #488 success 10m24s. 🔑 PHÉP ĐO QUYẾT ĐỊNH: hash CI == local 4/4 (CR538vZx1.700.709·DNE0buTg94.665·C10ta-wB1.780.807·CTIZKsjE88.858) DÙ runner node v24.15.0/npm11 ⟂ local v22.13.0/npm10 ⇒ nghi-vấn 'chênh node/npm = nguồn bất định thứ 2' BỊ BÁC BẰNG ĐO. GUARD-92 2/2 app react don ban = 19.2.5, 0 FAIL. Gate 697 Δ0. Mig 73 no-advance. 🔑 BẪY MỚI — hash-delta VÔ DỤNG khi PRE đã trùng hash kỳ vọng (prod đang chạy bản-cứu chép tay) ⇒ ship-proof chuyển sang Last-Modified nhảy vào cửa sổ run (18:10:28→18:23:17 · 18:10:37→18:21:58; run 18:13:51-18:24:15Z) + control âm hash-cũ→text/html 876B. Bổ sung #69: mode-C FROZEN-nhưng-ĐÚNG. 🔴 Runtime-gap tự khai: SHA256 prod==local byte-identical, bản local ĐÃ được người mở browser console-0-lỗi ⇒ tính-chạy-được chuyển giao; khác 2 lần crash ở CHẤT (byte-match CI⟂prod mà cả hai đầu chưa ai chạy). Nhưng tao KHÔNG tự mở browser được ⇒ file-integrity KHÔNG thay runtime-check; marker React trong bundle CHƯA hiệu chuẩn (mất control âm) ⇒ không dùng làm bằng chứng. Evidence runs/2026-08-12-S190-soltuon-dieu-chinh-hd/sub-cicd-va-goc-92.md. Tag [s191, gotcha-92-va-goc, npm-ci-deterministic, hash-CI==local, guard92-2/2, LM-thay-hash-delta, runtime-gap-tu-khai]

• (S190 (08-12) 091073f9 YC-029+YC-030 GĐ3 Duyệt HĐ — PASS TRỌN 6/6: gate 697 EXACT (45+652, Δ+17 trọn ở Infra), Mig 73 AddContractEndedByLevelFinalize áp prod (tables 97 unchanged), ship-proof 3 CHÂN (rotate ×2 + size==log CI tới byte + control âm text/html 876B), #91 XANH. 🔑 PRE-snapshot chụp NGAY lúc build đang chạy (deploy ở CUỐI ⇒ bundle+mig còn CŨ) = differential sạch. verbatim → archive/2026-08.md)

• (S189 (08-11) 92d8215a YC-028 FE (8 FE, 0 BE, 0-mig) — V1 FAIL 8/11 → V2 PARTIAL 8/9. 🔴 V1 = KHÔNG CÓ RUN ĐỂ MÀ ĐỎ (push land, sha đúng, 0 ActionRun) ⇒ đẻ ra detector #91: /repos→updated_at đọc DB ⟂ /branches/main→commit.id đọc git ĐĨA; nguy vì mọi tín hiệu quen đều XANH, chỉ vắng-mặt thứ đáng lẽ có mới tố cáo. 🔑 CẶP ĐỐI-CHỨNG dập nghi-oan filter. 🔑 CSS không rotate mà vẫn ĐÚNG (0 class Tailwind mới). 🔴 A/059 chậm: burst-2 XẤU HƠN burst-1 ⇒ tự bác cold-start của chính mình; lưỡng-cực 0,6-1s vs 5-8,7s = hình dạng THIẾU RAM (VPS 4GB). 🔑 Logic rẻ hơn đo: commit 0 file BE ⇒ latency không thể do commit này. 🔴 Tự nhận: Restart-Service gitea (khuyến nghị của chính tao) giành RAM/CPU với SQL đúng lúc đo. verbatim → archive/2026-08.md)

• (Arc S155→S168 + #447 (gộp @S191) gate 551→644. 🔑 S168 WIRE-PROOF = 400 GỌI TÊN FIELD (mạnh hơn 401) · CHỤP PRE NGAY khi vào việc · marker BẤT-ĐỐI-XỨNG. 🔴 K7 aaed699 PUSH-ĐÈ NUỐT DEPLOY = #86. 🔴 K6 0-hit marker SAI 2 LẦN do CƠ-CHẾ REGEX (minify→BACKTICK · pattern-chứa-backtick qua biến làm grep -cE gãy IM LẶNG) ⇒ LUẬT grep -F/python + trích byte thật TRƯỚC khi kết luận vắng-mặt; menu ẩn 12/12 mà route 68→68 ⇒ ẩn client KHÔNG thu quyền (#82). 🔑 #447 415 = họ hàng 411 ⇒ mọi mã pre-auth phải re-probe đúng dạng; set-diff Mig 2 CHIỀU. 🔑 #438 mốc PRE trong đề bài LÃO HOÁ sau MỖI deploy. 🔴 #435 ACCEPTANCE CHÂN-LÝ-RỖNG (0==0 xanh mà 0 bit) · #432 CẤM HEAD~1→neo X^..X · #423 revoker lật 447/494 vì đo TRƯỚC recycle. 🔑 S159 durability đo ≥2 restart + control ÂM ở tầng BUNDLE. verbatim → archive/2026-08.md + _INDEX.md)

Persistent diary cross-session. Auto-injected first ~200 lines at spawn (L1 HOT). Update BEFORE every stop. Tiered Memory v1: L1 HOT soft-cap ~30KB · L2 archive/ on-demand · L3 RAG search_memory just-in-time. Keep entry ≤ 1.5K chars (gotcha #53). Verbatim cũ → archive/2026-0{5,6,7,8}.md (+ 2026-05-{runs,q2,q3,q4}, .gist) + git d2f52ba. 🗺️ Lookup: archive/_INDEX.md — 1 dòng/bản-ghi + con-trỏ substring (sha-keyed).

---

🎯 Role baseline

Read-only CI/CD + post-deploy verifier SOLUTION_ERP. Poll Gitea Actions API, verify test-gate + deploy-ship + prod health. Output PASS/FAIL + evidence <500 words. Skills: iis-deploy-runbook · dependency-audit-erp · ef-core-migration.

---

⚠️ cicd-lane return-garble tracker (#53)

cicd-lane trả nhầm slice transcript thay verdict — tao TÁI PHẠM dai nhất roster (×5/6 qua S114; S117/S118 ×3 → feedback_agent_return_garble_recover). ⚠️ Từng tự dán nhãn 'CLEAN-return' SAI ⇒ KHÔNG tự phong return sạch. 🔒 Đối-sách: ghi-đĩa TRONG LÚC LÀM — prompt KHÔNG chặn được, artifact mới chặn ⇒ file trong run-folder là SẢN PHẨM CHÍNH, kết bằng END … VERDICT=; return chỉ là tóm tắt.

---

🚨 Recurring CI/CD bug patterns (catch priority)

• #39 act_runner github.com TCP timeout — run hang "Set up job" 21s. Log dial tcp github.com:443 i/o timeout. Fix: manual checkout bypass hardcoded .gitea/workflows/deploy.yml. KHÔNG revert.
• #40 npm cache tsc not found — build_fe_admin fail post cache: npm. DISABLED rolled back a21790d. KHÔNG re-enable.
• #41 paths-ignore docs-only skip — check git diff --name-only <base>..<head> vs 7-glob ['docs/**','**/*.md','.claude/skills/**','.claude/agent-memory/**','.claude/workflows/runs/**','.gitignore','scripts/**.md']. Gitea đọc range — ≥1 file non-ignored → build. ⚠️ AS-6: memory-push/run-trace HẾT trigger CI. ⚠️ @S189: filter ĐÚNG mà vẫn 0 run ⇒ xem #91 trước khi đổ tại filter.
• 🔴 #92 runner build-env nhiễm → bundle crash runtime useState null (trắng màn prod ×2: #486 S189, #600 S191). GỐC = deploy.yml xoá package-lock.json rồi npm install ⇒ mỗi run resolve lại cây theo semver ⇒ cùng commit ra bundle khác nhau. Vá @305b573f: giữ lockfile + npm ci + GUARD-92 (npm ls react, regex lookbehind (?<![-\w./@])react@ — thiếu lookbehind thì lucide-react dương-giả ⇒ CI đỏ vĩnh viễn). Verify #488: hash CI==local 4/4 ⇒ deterministic ĐẠT. 🔴 Luật #92(1): mọi phép đo cũ đều đo FILE, không đo CHƯƠNG TRÌNH CHẠY — exit 0 + byte-match CI↔prod + smoke 200 vẫn để lọt 2 lần vì cả hai đầu của phép so đều chưa ai chạy. Byte-match chỉ có giá trị khi ≥1 đầu đã runtime-verified.
• #25 IIS WebSocket — notification-hub/negotiate 401/404 prod. Fix: WebSocket module enable web.config site api (skill iis-deploy-runbook).
• #48 SQLite tie-break — OrderByDescending(CreatedAt).First() pick wrong khi 2+ .Add() cùng frozen-clock. Fix: discriminator filter BEFORE OrderBy.
• Bundle hash unchanged ≠ ship FAIL (đọc #69 bên dưới trước). Đọc hash qua INDEX.HTML (curl -s https://admin… | grep -oE '/assets/index-[A-Za-z0-9_-]+\.(js|css)'), KHÔNG GET thẳng asset. ⚠️ verify PHẢI sau status=success (Run #242 false-positive: đo lúc 'running' → hash stale).
  • 🔴 #69 TWO-MODE — FE hash vừa có thể ROTATE vừa có thể FROZEN. deploy.yml copy dist\* UNCONDITIONALLY ⇒ 0-FE-change vẫn rotate (mode-A); src y hệt ⇒ Vite byte-identical ⇒ FROZEN (mode-B). Cả hai lành tính ⟹ hash-delta KHÔNG phải ship-proof. Ship-proof THẬT = Last-Modified in-window + real-size khớp log CI + byte-marker. LM cũ = deploy không chạm file (cờ đỏ).
  • ⚠️ SPA-fallback 200 trap (S72): server rewrite /*→index.html ⇒ GET /assets/index-<BỊA>.js vẫn 200. Discriminator sạch = Content-Type (text/html ~876-900B = trap · application/javascript ~1,8MB = thật). Hash CŨ rơi về text/html = bundle cũ đã bị ghi đè = control âm tầng-2.
• 🔴 Durability: đo SAU recycle + 3 CHÂN KIỀNG — pool restart ở CUỐI deploy-window ⇒ query DB lúc running = trạng thái CŨ (tao sai đúng chỗ này @#423). Khuôn: (i) chứng minh restart thật (w3wp StartTime in-window), (ii) đo chỉ-số đích SAU mốc đó, (iii) control ÂM chứng checker còn sống. ⚠️ @S189: w3wp mới sinh ⇒ vài request đầu là cold-start, đừng lấy làm số perf.
• Migration drift prod vs repo — compare ls .../Persistence/Migrations/*.cs vs sqlcmd __EFMigrationsHistory. Fix: check Program.cs/DbInitializer app.MigrateDatabase() + app pool recycle. Mig-applied proof = __EFMigrationsHistory top==repo-HEAD; stuck-old ⟹ pool didn't recycle ⟹ FAIL even if status=success+bundle-rotated.

---

📋 5-stage checklist (EVERY run)

• Stage 0 RAG infra: Get-Service Qdrant Running + http://localhost:6333/healthz. Collection proj_solution_erp.
• Stage 1 Push+filter: git log -1 --format='%H %s' + git log origin/main..HEAD empty + diff vs paths-ignore (docs-only → SKIPPED-DOCS return).
• Stage 2 Gitea poll (max 10 iter × 60s): API .../actions/tasks?limit=5 (NOT /runs 404). Match head_sha (NOT run_number — cancelled runs shift numbering). ⚠️ updated_at stale ~2min (gotcha #46) → cross-check VPS mtime. Foreground-sleep BLOCKED Windows → Monitor-style busy-wait-curl-spin ~30s/iter.
• Stage 3 Test gate: baseline 697 PASS (45 Domain + 652 Infra; run #600/#487 091073f9 08-12; climb 697/680/645/644/639/622/614/609/598/590/566/551/532/509). CI chạy cả 2 proj TRƯỚC build/deploy ⇒ status:success = gate passed (tasks KHÔNG populate conclusion — tin status). Local grep undercount (Theory/InlineData).
• Stage 4 Post-deploy (if SUCCESS): login bearer (admin + nv.test #44; token=accessToken) → smoke 2XX (NEW-endpoint bodyless-POST = 411 pre-auth NOT 404; re-probe WITH body → 401 = đã wire; 415 cùng lớp) → bundle 2 app (#69: real-size, KHÔNG hash-delta) → SignalR (#25) → mig prod==repo.
  • Stage 4.6 (S29): sqlcmd seed verify post-deploy (NOT chỉ schema) — seed = runtime-row-insert (history/tables KHÔNG nhích) ⇒ verify bằng DB-query, không bằng bundle-frozen.
  • enum cần input SỐ (no JsonStringEnumConverter). INFRASTRUCTURE seed ungated / DEMO seed gated → #51.
• Stage 5 Report PASS/FAIL + evidence + MEMORY update.

---

⚠️ Anti-patterns (DO NOT)

1. ❌ Push fix code — READ only, escalate em main · 2. ❌ Speculate fail without log · 3. ❌ Skip post-deploy bundle hash (biggest catch) · 4. ❌ Skip MEMORY · 5. ❌ Poll forever (max 10 iter) · 6. ❌ Auto-rollback (escalate + recommend) · 7. ❌ Verify docs-only (SKIPPED-DOCS return ngay)

---

🧠 SOLUTION_ERP CI/CD essentials (S80 verified — re-ground từ docs/STATUS.md canonical)

• Gitea: git.baocaogiaoduc.vn/vietreport-admin/solution-erp · workflow .gitea/workflows/deploy.yml · paths-ignore 7-entry (D10 S111 #495): ['docs/**','**/*.md','.claude/skills/**','.claude/agent-memory/**','.claude/workflows/runs/**','.gitignore','scripts/**.md']. Anon API works (public repo) when GITEA_TOKEN absent.
• Prod: .solutions.com.vn (api/admin/eoffice) · ssh vietreport-vps · IIS C:\inetpub\solution-erp\{api,fe-admin,fe-user}. DB .\SQLEXPRESS/SolutionErp, key ConnectionStrings.Default. ⚠️ VPS chỉ 4GB RAM/3 core, chung với VIETREPORT (@S189 SQL buffer 213MB/1,09GB → API lưỡng-cực). SSH→PS: viết .ps1 + scp + powershell -File, đừng inline. 🔴 CẤM ssh … | head → Select-Object -First N phía REMOTE.
  • SSH→PS quoting (S42): bash→ssh→powershell nuốt $var/\" ⇒ viết .sql/.ps1 rồi scp + sqlcmd -i / powershell -File (đừng nhét inline). sqlcmd -W -h -1 pw-inline. sys-catalog concat → COLLATE DATABASE_DEFAULT.
• Tests baseline: 697 PASS (45 Domain + 652 Infra · 0 fail/skip) — tái xác nhận run #488 305b573f 08-13 (Δ0, đúng hình dạng: 0 file test trong diff). 🔑 Số lấy ở web-UI log …/actions/runs/{run_number}/jobs/0/logs (KHÔNG có /api/v1/) → mỗi project 1 dòng Passed! - Failed: 0, Passed: N; đối chiếu TÁCH-PHẦN (45/652) chứ đừng chỉ khớp tổng, và so delta với số Fact mới khai trong commit-msg.
• Mig latest repo: Mig 73 AddContractEndedByLevelFinalize (20260812141501) — verify prod @S191 #488 = 73 (history top khớp · MIGCOUNT 73==73 · sys.tables 97). 🔴 Đếm phải NEO ĐUÔI grep -vE 'Designer\.cs$|ModelSnapshot\.cs$'. Mạnh hơn khớp-tổng = set-diff repo↔prod 2 chiều (comm -23/-13 cùng rỗng). Prod: sqlcmd -S .\SQLEXPRESS -d SolutionErp -E (⚠️ $env:PROD_DB_PASSWORD KHÔNG có trên VPS). NO-Mig proof = history NOT-advance + empty git diff <base>..<head> -- '*Migrations*'.
• Bundle hash live: baseline #488 (08-13, 305b573f) admin C10ta-wB/CTIZKsjE (JS 1.780.807 · CSS 88.858) · eoffice CR538vZx/DNE0buTg (JS 1.700.709 · CSS 94.665) — trùng ĐÚNG dist local đã verify runtime, khớp CI log tới byte. 🧊 prev #600 admin D2FHMRPX · eoffice BIN1bEGo (1.819.492/1.803.881 — bản này crash useState null, đã thay). 🔑 Ship-proof rẻ nhất = size prod khớp dòng dist/assets/… TRONG LOG CI (tới byte). ⚠️ marker minify ra BACKTICK → grep -F/python. ⚠️ re-snapshot LIVE sau status=success (#69). ⚠️ id ≠ run_number (key theo head_sha).
• Prod DB anchor (POST #438, đứng im tới #444): MenuItems=200 · Permissions=2221 · Roles=13 · họ Khkk% = 56 menu / 728 perm (=56×13) · control revoker Hrm*/Off* CanRead=1 = 29/377. PK MenuItems = [Key] (KHÔNG MenuKey); Permissions(Id,RoleId,**MenuKey**,CanRead,CanCreate,CanUpdate,CanDelete).
• Bearer: admin admin@solutions.com.vn/Admin@123456 (full) · UAT nv.test@solutions.com.vn/TestUser@123456 (Drafter CCM, gotcha #44 check).
• API Serilog: sink THẬT C:\inetpub\solution-erppi\logs\solution-erp-YYYYMMDD.log (skill-runbook …\Logs\log-*.txt STALE). Level=Information (seed/revoke lines CÓ ghi). ⚠️ deploy xoá logs/ ⇒ chỉ còn từ deploy cuối.

🔑 Critical config (flag commit nếu tái xuất)

Node CI 20.x (feedback_node_cicd) · MediatR 12.4.1 (gotcha #1, flag Version="14) · Swashbuckle 6.9.0 (gotcha #2) · act_runner manual checkout (#39) · npm cache DISABLED (#40, flag cache: npm)

---

• Per-NV opt-in wire (S22-S23) → feedback_per_nv_permission_scope (10 điểm). 2 điểm HAY SÓT: (9) Lookup discrimination (FirstOrDefault thêm ApproverUserId==actorId + admin fallback) · (10) Controller body record count == Command record count.

📊 Run stats baseline

BE ~90s · FE ×2 ~60s/app · deploy ~30s · total ~3min code / 0s docs-only; gần đây 5m3x-6m3x. >8min → escalate.

---

📅 Recent runs (compressed — verbatim → archive via _INDEX.md)

• (S98-S132 #383-#397 + S188 #481/#482 all GO (gate 440→509): AS-6 #41 soi TỪNG file vs 7-glob · conclusion:None dù success ⇒ tin status · 411-refine · LM mới hơn cửa-sổ đã verify = detector 'có run bỏ sót' · recipe SCHEMA-ADD/DATA-BACKFILL/DATA-SEED · #472 PROD Identity table NON-prefix Roles. 🔑 S188 tự đính chính trong lượt: 'HD-*=0' là ARTIFACT PARSE của chính mình — suýt FAIL oan. verbatim → archive/2026-07.md+2026-06.md)

• Older (S83 #325 ← S29 #232) → git d2f52ba + archive/2026-06.md (incl #291 06-16 FAIL [gotcha #65]); pre-S38 → archive/2026-05-*.

---

🔄 Curate trigger

• ~30KB → archive recent runs → L2 archive/<period>.md (byte-exact append) + _INDEX.md substring pointer. Dup failure patterns → merge. Stale >3mo → remove.

• Last curate: 2026-08-13 S191 (self, 22.3KB→17.4KB — S190/S189 verbatim→archive/2026-08.md + _INDEX pointer; gộp 6 pointer cũ S155-S168+#447 thành 1 dòng; trim S191/Mig/Tests; baseline refresh bundle #488, gate 697, Mig 73). ⚠️ giữ luật: script sửa MEMORY phải build chuỗi XONG → temp → os.replace → verify byte>0.

• Prev: S189 08-11 (27.4→16.6) · S166 08-01 (27.3→16.5) · S162 07-30 · S118 · S111 · S107 · S104 · S98 · S80 · S70 · S66 · S40.

• (S182 YC-013 W0.4 — Q2 sai tiền-đề nhưng W1 GO: ký-ức đóng-băng-thời-điểm ≠ ký-ức hỏng — chỗ gãy là SPEC phổ-quát-hoá mốc cũ. 🔑 pin-lệch 0 row VỚI control (bỏ vế phủ-định ra 12 row). 🔑 hiệu chuẩn thước bằng 2 ANCHOR đã biết mạnh hơn count>0. verbatim → archive/2026-08.md)

S194 — YC-032 deploy 2 lượt: #489 ĐỎ → #490 XANH [LEAD SEED ON-BEHALF]

• Lượt 1 (run #489) FAIL sau 2m42s — truy được nguyên nhân gốc: DẤU PHẨY trong tên 2 file .docx ⇒ MSBuild property-function tách tham số bằng phẩy ⇒ [MSBuild]::MakeRelative(a,b) thành 3 tham số ⇒ MSB4186. Chết ở BUILD nên test chưa khởi động — log tổng kết ghi "test failed" là đọc nhầm TẦNG.
• 🔴 Phép đo quyết định cho vế "vì sao local xanh mà CI đỏ": grep -c MakeRelative trong Microsoft.NET.Publish.targets của SDK local 10.0.104 = 0 (control dương ContentWithTargetPath = 8 ⇒ thước sống) ⇒ dòng mã gây lỗi KHÔNG TỒN TẠI trên máy dev. global.json rollForward: latestFeature cho CI nhảy 10.0.202. Cùng họ gotcha #92 nhưng ở tầng .NET SDK thay vì npm → khắc thành gotcha #93.
• Lượt 2 (run #490) SUCCESS 9m28s: test 699 tách-phần ĐÚNG (45 Domain + 654 Infra — không chỉ khớp tổng) · GUARD-92 OK ×2 app · Deploy done. App pool started. · prod MIGCOUNT 73→74 · bundle ĐỔI ×2 (mốc Last-Modified rơi TRONG cửa sổ run) · smoke 3/3 = 200 · acceptance treo ĐÓNG: Ct_ nhóm 7→9, Hdc_ leaf 7→9.
• 🔴 Tự đính chính trong lượt: phép đếm menu đầu dùng key trần ('ThauPhu',…) ra 0, trông y hệt "prod thiếu sạch 9 nhóm". Sai ở THƯỚC — key thật có tiền tố Ct_ (MenuKeys.cs:92). Bài: số 0 có thể là ARTIFACT của chính thước đo, phải liệt-kê thực tế trước khi tin số đếm.