评估AI发布 是做什么的?
使用RAGOps作为确定性评估器。将其结果视为发布证据,而非系统普遍正确或安全的证明。
工作流程
- 确定场景、候选响应或跟踪、已接受的基线以及策略阈值。不要虚构缺失的固定数据。
- 在选择RAGOps命令或解释退出代码时,阅读
references/commands.md。 - 在运行评估前检查输入中是否包含机密或个人信息。除非用户批准分享,否则保持生成的报告私密。
- 从本技能目录通过
python3 scripts/run_ragops.py ...运行最窄适用的命令。 - 将退出代码
0解释为通过,退出代码2解释为已评估的阻止,而非执行失败。将其他非零代码视为操作错误。 - 报告决策、失败的检查点、重要的指标差异、来源局限性以及最小的下一步操作。
防护措施
- 不得削弱阈值、替换已接受的基线或省略失败案例以获得通过。
- 不得在仅运行词法或引用检查时声称语义正确性。
- 除非用户明确提供并授权提供商配置,否则不得运行基于提供商的评估。
- 不得仅基于此技能的输出进行发布、合并、标记或部署。
- 在最终证据中保留输入工件和命令参数,以便另一位审阅者可以重现结果。
输出
返回一个简洁的发布建议,包含:decision、evidence、failed_gates、limitations 和 next_action。