評估 AI 發行版本 是做什麼的?
使用 RAGOps 作為確定性評估器。將其結果視為發布證據,而非證明系統具有普遍的正確性或安全性。
工作流程
- 識別場景、候選回應或追蹤、已接受的基準及政策閾值。不要虛構遺失的資料。
- 在選擇 RAGOps 命令或解讀退出碼時,請參閱
references/commands.md。 - 在執行評估前,檢查輸入中是否包含秘密或個人資料。除非使用者核准分享,否則保持產生的報告為私人狀態。
- 從此技能目錄透過
python3 scripts/run_ragops.py ...執行最窄適用的命令。 - 將退出碼
0解讀為 PASS,退出碼2解讀為評估後的 BLOCK,而非執行錯誤。將其他非零退出碼視為操作錯誤。 - 報告決策、失敗的閘道、重要的指標差異、來源限制及最小的下一步行動。
護欄
- 不要減弱閾值、取代已接受的基準或省略失敗案例以獲得通過。
- 當僅執行詞彙或引用檢查時,不要聲稱語義正確性。
- 除非使用者明確提供並授權提供者配置,否則不要執行提供者支援的評估。
- 不要僅基於此技能的輸出進行發布、合併、標記或部署。
- 在最終證據中保留輸入工件和命令參數,以便另一位審查者能夠重現結果。
輸出
返回一個簡潔的發布建議,包含:decision、evidence、failed_gates、limitations 及 next_action。