透過輸出與工具追蹤比對捕捉無聲的代理回歸(於 CI 中使用 eval-view)
快照代理行為,比較輸出與工具呼叫路徑,並在模型或提示變更悄然改變行為時封鎖發布。
先決條件
Python 環境、安裝 eval-view、可重現的代理場景或測試、CI 執行器或本機 Shell、受支援的代理堆疊
安裝
基本使用或入門說明:
-
閉環流程: 偵測 → 調查 → 分級判決 → 隔離治理 → 廣播。你醒來,執行進度,根據漂移進行分類,透過
check --statistical確認,團隊在…之前看到摘要。 -
| 📉 漂移中 | 趨勢以分級信心度(低/中/高)滑動 | 執行
evalview drift <test>| -
| 🔎 調查 | 判決層需要統計回放 | 執行
evalview check --statistical 5| -
從上游文件擷取:https://raw.githubusercontent.com/hidai25/eval-view/HEAD/README.md