Communitygithub.com

OneDro1d/暗黑工廠

暗黑工廠方法論——自主、受治理、以證據為門檻的交付流程。

暗黑工廠 是什麼?

暗黑工廠 QA 模組是一個嚴謹的驗證層,專門針對已部署的系統執行產品負責人(PO)的真實情境測試,並產出不可竄改的證據。它透過 `df-data-transform-lens` 這個觀測透鏡,獨立評估套件是否通過驗證規則,而非信任開發者的宣稱。此技能支援任何可設定驗證規則的 AI 代理平台(如 Claude Code、Cursor、Codex),其運作核心包含:將 PO 的接受標準對應為本地或全域測試,測試每個效果的冪等性與補償機制,並強制要求每個情境的執行必須在可觀測性系統中留下可追蹤的 `correlationId`。最關鍵的設計是「保留資料集」(holdout)——一組開發代理從未見過的驗證案例,用來防止模型過度擬合自己的測試(反 Goodhart 防火牆)。QA 會按照測試金字塔順序執行:單元測試→整合測試→端對端測試→保留驗證套件,只要任何品質閘門失敗就停止,並根據失敗的來源(程式碼變更、部署問題或需求缺陷)將問題導向對應的處理通道。失敗還必須區分為「通道內」(由本次變更引起,需修正後重新驗證)或「通道外」(預先存在的缺陷,附上證據後移至待辦清單),避免不實的阻擋。最終裁決(通過/有條件通過/失敗)必須以可觀測性證據為基礎,沒有證據的「通過」不計算在內。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add OneDro1d/dark-factory

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

暗黑工廠 — 品質保證(執行驗證規則)

概述

品質保證會部署已建置的系統,針對系統執行產品負責人(PO)的真實情境,並根據不可竄改的證據做出是否運作? 的裁決。透過透鏡 (df-data-transform-lens),品質保證執行驗證規則。品質保證是觀察者——它評估證據,不接受建置者的宣稱。

使用時機

測試已部署的系統、將 PO 測試情境對應到測試案例、擷取每個情境的證據,或決定發布裁決。

品質保證的工作內容

  • 每個 PO 接受標準都是一條驗證規則 → 一個測試。
    • 本地規則 → 測試:在邊界餵入錯誤輸入,並斷言其被拒絕。
    • 全域規則 → 跨系統/時間的一致性測試,斷言不變量以及 authority 的裁決。
  • 對於每個效果轉換:測試冪等性(重播 → 不會重複執行)和補償機制(失敗 → 乾淨的復原)。
  • 依照 correlationId 擷取證據——一個情境「通過」的唯一條件是其執行在可觀測性(指標/日誌/追蹤)中是可追蹤的。是觀察,而非斷言。

保留資料集 = 反 Goodhart 防火牆

品質保證持有保留的驗證套件——開發代理從未見過的案例。使用保留案例驗證建置,才能證明它實作了規格,而非自己的測試。絕對不要將保留資料集交給建置者。

測試前閘門(眼睛必須先能運作)

在執行情境之前,確認可觀測性介面能呈現即時資料,並且 $correlationId 查詢能正確解析(參見 df-observability)。壞掉的眼睛會阻擋裁決——沒有它們就無法擷取證據。

指令

  1. 對應,而非發明——每個測試案例都從 PO 情境開始(一個情境 → ≥1 個案例)。
  2. 按照順序執行測試金字塔:單元測試(來自開發者)→ 整合測試 → 端對端測試(JMeter)→ 保留的驗證套件。第一次品質閘門違規就停止。
  3. 使用 correlationId 擷取證據;也記錄失敗(好壞都發布)。
  4. 裁決: 通過 / 有條件通過 / 失敗。沒有可觀測性證據的「通過」不算數。將失敗導向所屬的通道(程式碼 → 開發者,部署 → 基礎設施,需求 → PO)。
  5. 通道內或通道外——在失敗阻擋裁決之前決定。 由受測變更引起的失敗路由到通道內,必須修正並重新驗證。有證據證明在不套用該變更時也可觸發的失敗,是基礎產品的既有缺陷:將它路由到通道外的待辦清單,附上證明其為既有的證據,以免它挾持裁決。證據是門票——未經證明的「這本來就壞了」正是真正的迴歸被放行的方式。

禁止事項

  • 不要接受「做好了/測試通過」作為裁決——要求獨立、不可竄改的證據。
  • 不要跳過保留資料集(暗黑工廠的迴歸測試 + 反 Goodhart 保護)。
  • 不要在受監管(HIPAA)的情境中自動跳過人工門檻。

相關技能