型付き判定コンフィグの評価
評価セットが成果物です。 System Oneモデルの精度は、質問の書き方に大きく左右され、その障害モードは沈黙です。つまり、自信満々で型としては有効だが誤った回答を返します。ラベルがなければ、悪い質問と悪いモデルを区別できません。
実測値:基準の書き換えにより、オープンモデルが15レコード中4/15から14/15に向上しました。モデルの変更はありません。その後、同じ比較を150レコードで実施したところ、そのモデルはJevの97% に対して全体で61% でした。15レコードの読み取りは、小さくて簡単なセットによるアーティファクトでした。どちらの事実も重要です。ワーディングが結果を左右し、小さなセットはどちらの方向が正しいかについて嘘をつく、ということです。
実行方法
python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
--backend jev|von --question <name>
labelled.json は [{"id","state","truth"}] です。configs.json はコンフィグ名を {"instructions", "criteria"} にマッピングします。オプションの辞書は選択肢、レベルのリストはスコア、省略はnoulになります。スクリプトはKeychainからJevキー(typesafe-api-key)を読み取り、コンフィグごとの精度を表示し、ばらつきをROBUSTまたはFRAGILEとラベル付けし、noulのしきい値をスイープし、信頼度ゲートをスコアリングします。
実際の出力(50レコードのエージェントシェルコマンドリスク評価、バックエンドのみ変更):
config 精度 ms/rec
A 簡潔なワンライナー 45/50 410 <- Jev
B 豊富な基準 49/50 415
C 豊富 + 除外 46/50 418
D 意図的に簡素 44/50 411
ばらつき: 44/50 ~ 49/50 (ROBUST - ワーディングは重要ではない)
A 簡潔なワンライナー 9/50 66 <- Von, 同じコンフィグ
B 豊富な基準 23/50 121
C 豊富 + 除外 15/50 129
D 意図的に簡素 22/50 53
ばらつき: 9/50 ~ 23/50 (FRAGILE - しかも天井はまだ使い物にならない)
天井をばらつきより先に読んでください。FRAGILEモデルで最良のコンフィグが23/50の場合、それはワーディングの問題ではありません。その質問にはモデル自体が間違っているのです。
1. セットを構築する
最低50レコード、リリース前は200以上。 合成データではなく、実際のストリームから取得してください。
- 退屈な真ん中を含めます。きれいな例や劇的なエッジケースだけでなく
- 壊れた/欠落したメタデータを持つレコードを含めます。そこで分類子は失敗します
- レコードを読み、モデルを実行する前にラベルを付けます。モデルの出力からラベルを決して付けないでください
- 生のレコードに
truthフィールドを加えてJSONとして保存します
[{"id":"D-1994","state":"...全文テキスト...","truth":"inbound_prospect"}]
自分で自信を持ってレコードにラベルを付けられないなら、モデルにも付けられません。そのレコードを削除するか、答えが決定論的になるように質問を修正してください。
2. モデルだけでなくワーディングをスイープする
核心の動きです。3~4の真に異なる基準コンフィグを書き、すべて実行します。
- A — オプションごとに1行の簡潔な記述(誰もが最初に書くもの)
- B — オプションごとに3~4文で具体的な例を含む
- C — Bに明示的なデフォルトと明示的な除外("ONLY when…")を追加
- D — 意図的に簡素、4~5単語、フロアテストとして
モデルごと・コンフィグごとの精度を報告します。
コンフィグ JEV VON LAYA (一次トリアージ, n=50)
A 簡潔なワンライナー 47/50 34/50 21/50
B 豊富な基準 49/50 28/50 15/50
C 豊富 + 除外 48/50 24/50 19/50
D 意図的に簡素 48/50 22/50 24/50
フロアを最初に読み、次にばらつきを読んでください。 フロアとは「もし私が悪い言い回しをしても、このモデルはそもそもその仕事を果たせるのか」であり、ばらつきとは「それを維持するのにどれだけのコストがかかるか」です。コマンドタスクで実測したところ、すべてのホスト型モデルはフロアが82-92%(Haiku 46-48、GPT-4.1-mini 45-50、Jev 44-49、GPT-5-mini 41-49)である一方、Vonは9/50、Layaは18/50でした。Jevは小さなLLMよりもワーディングに対してロバストではありません。 同じ10ポイント程度変動します。購入するのはフロアであり、免疫ではありません。
リード列が示していないことに注意してください。きれいな「豊富な方が良い」という勾配はありません。ここでVonの最良コンフィグは簡潔なものです。オープンモデルの数値を動かすものは、理解ではなく表面形式への感度です。そのため、次の基準の書き換えが必ず改善するとは想定せず、セットを再実行してください。
3. すべてのnoulのしきい値をスイープする
決して0.5をそのままリリースしないでください。スイープして曲線を読みましょう。
for t in [0.5,0.6,0.7,0.75,0.8,0.85,0.9,0.95]:
tp = sum(p>=t and y for p,y in z); fp = sum(p>=t and not y for p,y in z)
fn = sum(p< t and y for p,y in z); tn = sum(p< t and not y for p,y in z)
print(f"{t} P={tp/max(tp+fp,1):.2f} R={tp/max(tp+fn,1):.2f} acc={(tp+tn)/len(z):.2f}")
モデルごとにフロアが異なります。Jevのnoulは、明らかにクリーンなレコードで0.2~0.5に留まり、Claudeは0.0になりました。そのため、実際のカットは約0.85でした。あるモデルで調整されたしきい値は別のモデルには転用できません。切り替えたら再スイープしてください。
4. 信頼度ゲートを正直にスコアリングする
常に2つの数字を一緒に報告します。
errs = [r for r in rows if r.pred != r.truth]
rights = [r for r in rows if r.pred == r.truth]
for g in [0.5,0.7,0.9]:
caught = sum(r.conf < g for r in errs) # ゲートがエスカレーションするエラー
escalated = sum(r.conf < g for r in rows) # エスカレーションされた総ボリューム
print(f"gate {g}: catches {caught}/{len(errs)} errors, escalates {escalated/len(rows):.0%} of volume")
11件中10件のエラーを捕捉しながら、ボリュームの93%をエスカレーションするゲートは、機能しているゲートではありません。それは余計なステップがついた低速パスです。精度が良くなければ、キャリブレーションが良くても何も得られません。
5. 報告
- モデルごと・コンフィグごとの精度と、ばらつきの明示
- noulごとに選択したしきい値と、それを正当化するスイープ結果
- ゲート:捕捉したエラー数 と エスカレーションされたボリューム率
- プロダクションボリューム1kあたりの推定レイテンシとコスト
- 評価セットのサイズと、それがカバーしていないものの明示的な記述
小さなセットは嘘をつきます。15レコードで2つのモデルが両方とも100%を獲得しても、何も区別できません。同点に意味があるかのように暗示するのではなく、そう言い切ってください。
関連
jev-integrate はこれが供給する配線ワークフローです。jev-audit は評価に値する候補を見つけます。