AIリリースの評価
RAGOpsを決定論的評価器として使用します。その結果を、システムが普遍的に正しい、または安全であることの証明ではなく、リリース証拠として扱います。
ワークフロー
- シナリオ、候補応答またはトレース、承認済みベースライン、ポリシーしきい値を特定します。不足しているフィクスチャを発明しないでください。
references/commands.mdを読み、RAGOpsコマンドの選択や終了コードの解釈に使用します。- 評価を実行する前に、入力に機密情報や個人データがないか検査します。ユーザーが共有を承認しない限り、生成されたレポートは非公開に保ちます。
- このスキルディレクトリから
python3 scripts/run_ragops.py ...を使用して、該当する最も狭いコマンドを実行します。 - 終了コード
0をPASS、終了コード2を実行エラーではなく評価されたBLOCKとして解釈します。その他の非ゼロコードは運用エラーとして扱います。 - 決定、失敗したゲート、重要な指標の差分、出典の制限、および最小の次のアクションを報告します。
ガードレール
- 合格を得るために、しきい値を弱めたり、承認済みベースラインを置き換えたり、失敗ケースを除外したりしないでください。
- 語彙チェックや引用チェックのみが実行された場合に、意味的正しさを主張しないでください。
- ユーザーがプロバイダー設定を明示的に提供し承認しない限り、プロバイダー対応の評価を実行しないでください。
- このスキルの出力のみに基づいて、公開、マージ、タグ付け、デプロイを行わないでください。
- 別のレビュー担当者が結果を再現できるよう、入力アーティファクトとコマンドパラメータを最終的な証拠に保持します。
出力
次の内容を含む簡潔なリリース推奨事項を返します: decision、evidence、failed_gates、limitations、next_action。