通过比较输出和工具追踪捕获静默代理回归在 CI 中使用 eval-view
对代理行为进行快照,比较输出和工具调用路径,当模型或提示变更悄悄改变行为时阻止发布。
先决条件
Python 环境、eval-view 安装、可重复的代理场景或测试、CI 运行器或本地 shell、支持的代理堆栈
安装
基本使用或入门说明:
-
闭环: 检测 → 调查 → 分级判定 → 隔离治理 → 广播。你醒来后,运行进度,通过漂移分类,通过 check --statistical 确认,团队在之前看到摘要...
-
| 📉 漂移 | 趋势以分级置信度(低/中/高)下滑 | 运行 evalview drift |
-
| 🔎 调查 | 判定层需要统计重放 | 运行 evalview check --statistical 5 |
-
提取自上游文档:https://raw.githubusercontent.com/hidai25/eval-view/HEAD/README.md