ハーネス優先
モデルはエンジンです。ほとんどの「モデルの問題」はハーネスの欠如が原因です：正しい出力を定義するもの、変更をチェックするもの、支出を制限するもの、データに合意された定義がない、アクションに承認がない、不良コールを見つけるためのトレースがない。モデルに触れる前に、まずそれを監査してください。
1. 証拠から症状を再現する（雰囲気ではなく）
- 症状に関連するエージェントコードを読む：ループ、ツール定義、プロンプトアセンブリ、データアクセス、副作用のあるツール。
- 存在するログ/トレース/トランスクリプトを読む。それらを集約する（会話、ツール、エラーごとに）：誰がトークンを消費しているか、どのコールが失敗しているか、どの回答が間違っているか。通常、いくつかの外れ値が大半を占める。
- 根本原因を証拠とともにメカニズムとして述べる（ファイル:行、ログID、計算した数値）。「モデルが悪い」はメカニズムではありません。
よくあるメカニズム：
- トークン浪費： 最大反復回数のないループ、決定論的エラーでのリトライ、毎ターン全履歴または巨大なツール結果の再送信、安定したコンテキストのキャッシュなし。
- 「幻覚」： エージェントがあいまいまたは間違ったソースを忠実に使用した（同じ名前で異なる意味を持つ2つのテーブル/フィールド、古いドキュメント）。両方の数値を自分で再計算して証明する。
- 脆さ： リグレッションセットなしで出荷されたプロンプト変更；作成者のみが手動でチェックした動作。
2. 6つのハーネス部品をスコアリングする
各部分について、見つけた証拠とともに存在 / 部分的 / 欠如 をマークする：
| 部品 | 存在するとは… |
|---|---|
| ゴールデンセット | 実際のトラフィック、インシデント、エッジケースから抽出した約20以上のケースと期待される回答/制約 |
| 評価器 | 最初に決定論的チェック（数値、ポリシールール、禁止コンテンツ）、コードでチェックできない場合のみLLMルーブリック；すべてのプロンプト/モデル/ツール変更時に実行 |
| コストガバナンス | ユーザーおよびワークフローごとのハードなトークン/コスト上限、実行ごとの最大反復回数、メッセージ付きの正常停止 |
| データ層 | 読み取り専用の認証情報、エージェントが使用する各メトリック/フィールドを定義するデータ辞書 |
| アクション安全性 | 不可逆的または外部へのアクション（送信、支払い、削除、書き込み、返金）は元に戻せるか、人間の承認によってゲートされる |
| トレーシング | すべてのモデルとツールコールが会話ID、ワークフロー、入力、出力、トークン、コスト、レイテンシ、エラーとともにログに記録される |
3. 構築前に判断する
- 評価証拠なしにモデル交換を推奨しないでください。 「モデルを切り替えるべきですか？」と聞かれた場合、答えは：メカニズムを修正し、両方のモデルでゴールデンセットを実行し、品質とコストを比較する。修正だけで期待される節約額を数値で示してください。
- ゴールデンセットの実行なしにプロンプト/エージェントの変更を出荷することを承認しないでください。 記録された出力が存在する場合、それらを期待される回答に対して自分でスコアリングし、ケースIDごとに失敗を報告してください。
- 安全性のギャップ（ゲートされていない副作用、読み取りパスでの書き込みアクセス、内部データの漏洩）は、誰もそれについて尋ねていなくても、ブロッキングとみなされます。
4. この順序で最小限のハーネスを構築する
- 出血を止める： 最大反復回数、非一時的エラーでのリトライなし、大きなツール出力の切り詰め/要約、実行ごとのハードなコスト上限。
- 副作用をゲートする： 不可逆的ツールのための承認ステップまたはドラフトモード；クエリツールのための読み取り専用接続。
- ゴールデンセットファイル (
evals/golden.jsonlまたは類似)：入力、期待される回答または制約、ソース（ログID / インシデント / ポリシー条項）。ちょうど失敗したケースを含める。 - 評価スクリプト でゴールデンセットを実行し、ケースごとの合格/不合格と合計を出力する。LLM評価の前に決定論的チェックを行う。
- データ辞書 エージェントが報告するすべてのメトリックに対して（定義、ソーステーブル/フィールド、除外条件）。
- トレーシング 上記のフィールド（欠けている場合）。
ファイルの説明ではなく、実際のファイルを書く。実行できるものを実行し、結果を報告する。
5. 報告
- 実際に尋ねられた質問に対する1行の回答（例：「まだモデルを切り替えないでください：3回の実行がリトライループに陥り、トークンの71％を消費しました」）。
- 証拠と数値を伴う根本原因。
- ハーネスのスコアカード（6つの部品）。
- 変更または作成したもの、および実行したもの。
- ブロッキングリスク、その後の優先順位付けされた次のステップの短いリスト。
クレジット
このスキルが従う方法は、Mark Ajzenstadt (@mardehaym) による公開投稿に基づいています：https://x.com/mardehaym/status/2099562230647804152。議論は彼らのものです；手順、文言、およびここでの評価はEdge独自のものであり、著者はこれらをレビューしていません。