Communitygithub.com

評估 AI 發行版本

評估 RAG 系統或 AI 代理發行版本是否通過可接受的基準、診斷回歸問題,並產出可解釋的 PASS、WARN 或 BLOCK 證據。適用於候選追蹤、RAG 評估場景、模型或提示變更、發布閘道、引用回歸、棄權檢查及發布前的 AI 品質審查。

評估 AI 發行版本 是什麼?

此技能提供一個結構化的工作流程,用於評估 AI 代理或 RAG 系統的發行版本,並將其與已建立的基準進行比較。它使用 RAGOps 作為確定性評估器,產生可解釋的 PASS、WARN 或 BLOCK 結果,作為發布證據。該技能指導使用者定義場景、候選回應、基準和政策閾值,透過 Python 腳本執行 RAGOps,並解讀退出碼:0 表示 PASS,2 表示評估後的 BLOCK(非執行錯誤)。它強調嚴格的護欄:不允許減弱閾值、隱藏失敗案例或使用提供者支援的評估(除非使用者明確授權)。輸出包括決策、證據、失敗閘道、限制及下一步行動,確保有助於可重現的審查。此技能與 Claude Code、Cursor、Codex 等開發者工具相容,並且需要存取技能目錄、RAGOps 腳本及參考文件(如 `references/commands.md`)。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/thangldw/ragops/tree/main/skills/evaluate-ai-release

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

評估 AI 發行版本 是做什麼的?

使用 RAGOps 作為確定性評估器。將其結果視為發布證據,而非證明系統具有普遍的正確性或安全性。

工作流程

  1. 識別場景、候選回應或追蹤、已接受的基準及政策閾值。不要虛構遺失的資料。
  2. 在選擇 RAGOps 命令或解讀退出碼時,請參閱 references/commands.md。
  3. 在執行評估前,檢查輸入中是否包含秘密或個人資料。除非使用者核准分享,否則保持產生的報告為私人狀態。
  4. 從此技能目錄透過 python3 scripts/run_ragops.py ... 執行最窄適用的命令。
  5. 將退出碼 0 解讀為 PASS,退出碼 2 解讀為評估後的 BLOCK,而非執行錯誤。將其他非零退出碼視為操作錯誤。
  6. 報告決策、失敗的閘道、重要的指標差異、來源限制及最小的下一步行動。

護欄

  • 不要減弱閾值、取代已接受的基準或省略失敗案例以獲得通過。
  • 當僅執行詞彙或引用檢查時,不要聲稱語義正確性。
  • 除非使用者明確提供並授權提供者配置,否則不要執行提供者支援的評估。
  • 不要僅基於此技能的輸出進行發布、合併、標記或部署。
  • 在最終證據中保留輸入工件和命令參數,以便另一位審查者能夠重現結果。

輸出

返回一個簡潔的發布建議,包含:decision、evidence、failed_gates、limitations 及 next_action。

相關技能