評価者妥当性監査
対象範囲
決定論的またはモデル支援型の評価者において、採点の欠陥により誤った回答が正しく見えたり、正当な代替が不合格になったりする場合に使用します。
手順
- 測定する構成概念に名前を付けます：回答の正確性、根拠の根拠付け、必要なツールアクション、権限境界、対象範囲など。これらの次元を分離します。
- 各タスクを、参照解、入力前提、評価者ロジック、許容される代替行動、明示的な失敗コードにマッピングします。
- 陽性対照（真に正しい）、陰性対照（誤った値、欠落した根拠、偽装されたツール結果、許容されないアクション）、および有効な代替（同等のSQL、根拠パスまたは推論方針）をテストします。
- 観測フィールドが実際の実行時根拠から導出されており、モデル作成のラベルや信頼できない結果メタデータから導出されていないことを確認します。
- 未公開のインスタンスを開発エージェントに公開せずに対照を実行します。反例とその元の根拠を保存します。
- 欠陥を誤受理、誤拒否、曖昧なタスク契約、または未サポートだが正当な代替に分類します。スコアラーの欠陥とモデルまたはランタイムの障害を区別します。
- 期待される行動の差異を含むバージョン管理された変更を提案します。確認的な結果を見た後で評価者を静かに調整しないでください。
- 記載された妥当性ゲートが合格した場合のみ凍結するか、または未解決の制限事項を明示的に報告し、主張を控えます。
出力
参照、敵対的、および代替ケース、期待される理由コードと観測された理由コード、および未解決の欠陥を示す監査済みケースマトリックス。
停止条件
重要な反例が欠落している場合、未解決の欠陥が測定された成功を実質的に変更する場合は、確認的な解釈を一時停止します。テストの合格だけでは、重要な反例が欠落している場合、妥当性を確立しません。