Communitygithub.com

评估AI发布

评估RAG系统或AI代理发布版本,与已接受的基线进行对比,诊断回归问题,并生成可解释的通过、警告或阻止证据。适用于候选跟踪、RAG评估场景、模型或提示更改、发布门禁、引用回归、拒答检查以及发布前的AI质量审查。

评估AI发布 是什么?

该技能允许开发者对 RAG 系统或 AI 代理的发布版本进行确定性评估,通过将候选响应或跟踪与已接受的基线进行比较,并应用策略阈值,从而生成明确的通过、警告或阻止证据。它支持多种使用场景,包括候选跟踪评估、模型或提示更改验证、引用回归检查、拒答检测以及发布前的质量审查。该技能适用于任何支持通过命令行运行 RAGOps 评估器的平台,例如 Claude Code、Cursor 或自定义 CI/CD 流水线。工作流程包括:根据提供的场景和基线选择适当的 RAGOps 命令,在运行前检查输入数据中是否包含机密或个人信息,然后通过 `python3 scripts/run_ragops.py` 执行评估,并根据退出代码(0 表示通过,2 表示已评估的阻止)解释结果。该技能强制设置防护措施,例如不得削弱阈值或替换基线以获得通过,不得在仅运行词法或引用检查时声称语义正确性,未经用户明确授权不得运行基于提供商的评估,以及不得仅基于技能输出进行发布或部署。输出结果包含明确的发布建议、证据、失败的检查点、局限性和下一步操作,确保结果可重现且可解释。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/thangldw/ragops/tree/main/skills/evaluate-ai-release

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

评估AI发布 是做什么的?

使用RAGOps作为确定性评估器。将其结果视为发布证据,而非系统普遍正确或安全的证明。

工作流程

  1. 确定场景、候选响应或跟踪、已接受的基线以及策略阈值。不要虚构缺失的固定数据。
  2. 在选择RAGOps命令或解释退出代码时,阅读references/commands.md。
  3. 在运行评估前检查输入中是否包含机密或个人信息。除非用户批准分享,否则保持生成的报告私密。
  4. 从本技能目录通过python3 scripts/run_ragops.py ...运行最窄适用的命令。
  5. 将退出代码0解释为通过,退出代码2解释为已评估的阻止,而非执行失败。将其他非零代码视为操作错误。
  6. 报告决策、失败的检查点、重要的指标差异、来源局限性以及最小的下一步操作。

防护措施

  • 不得削弱阈值、替换已接受的基线或省略失败案例以获得通过。
  • 不得在仅运行词法或引用检查时声称语义正确性。
  • 除非用户明确提供并授权提供商配置,否则不得运行基于提供商的评估。
  • 不得仅基于此技能的输出进行发布、合并、标记或部署。
  • 在最终证据中保留输入工件和命令参数,以便另一位审阅者可以重现结果。

输出

返回一个简洁的发布建议,包含:decision、evidence、failed_gates、limitations 和 next_action。

相关技能