評估 typed-decision 配置
評估集本身就是產品。 System One 模型的準確度很大程度上取決於問題的撰寫方式,而其失敗模式是靜默的 —— 它會回傳一個自信、類型有效但錯誤的答案。沒有標籤,你就無法區分是問題寫得不好,還是模型本身有問題。
實際案例:重新撰寫 criteria 讓一個開放模型在 15 筆記錄上的成績從 4/15 提升到 14/15,完全沒有更動模型。接著在 150 筆記錄上進行同樣的比較,該模型整體準確率為 61%,而 Jev 則是 97% —— 15 筆記錄的讀數只是因為樣本小且題目簡單所造成的假象。這兩個事實的意義在於:措辭會影響結果,且小樣本會誤導方向。
執行
python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
--backend jev|von --question <name>
labelled.json 的格式為 [{"id","state","truth"}]。configs.json 將配置名稱對應到 {"instructions", "criteria"} —— 如果 criteria 是個 dict,代表選項,是為 choice;如果是個 list 代表等級,是為 score;如果省略,則表示是 noul。腳本會從鑰匙圈(typesafe-api-key)讀取 Jev 金鑰,印出每個配置的準確率,將離散程度標記為 ROBUST 或 FRAGILE,對 noul 進行閾值掃描,並評估信心門檻。
真實輸出範例:針對 50 筆 agent shell 指令風險記錄,僅更換後端模型:
config accuracy ms/rec
A terse one-liners 45/50 410 <- Jev
B rich criteria 49/50 415
C rich + exclusions 46/50 418
D deliberately lazy 44/50 411
spread: 44/50 to 49/50 (ROBUST - wording is not load-bearing)
A terse one-liners 9/50 66 <- Von, same configs
B rich criteria 23/50 121
C rich + exclusions 15/50 129
D deliberately lazy 22/50 53
spread: 9/50 to 23/50 (FRAGILE - and the ceiling is still not usable)
先看天花板,再看離散度。 一個 FRAGILE 模型,即使最佳配置也只有 23/50,這不是靠修改措辭就能解決的問題 —— 這是選錯了模型。
1. 建立評估集
最少 50 筆記錄,上線前建議 200 筆以上。 從真實流量中取樣,不要使用合成資料。
- 包含平凡的中間地帶,不只是乾淨的案例和戲劇性的邊界情況
- 包含中繼資料遺失或損毀的記錄 —— 分類器往往在這裡失敗
- 在執行任何模型之前,透過閱讀記錄來進行標籤。永遠不要根據模型輸出做標籤
- 儲存為 JSON,包含原始記錄與
truth欄位
[{"id":"D-1994","state":"...完整記錄文字...","truth":"inbound_prospect"}]
如果你自己都無法自信地標籤一條記錄,那模型也做不到 —— 要嘛放棄這條記錄,要嘛修正問題讓答案變得明確。
2. 掃描措辭,不只是模型
這是核心步驟。撰寫 3–4 個本質上不同的 criteria 配置,然後全部執行:
- A —— 每個選項只用一行簡潔描述(大多數人最初寫的版本)
- B —— 每個選項用 3–4 句話加上具體範例
- C —— B 的基礎上加上明確的預設值和明確的排除條件("只有在…時才")
- D —— 故意懶惰,只用四到五個字,作為下限測試
報告每個配置在每個模型上的準確率:
config JEV VON LAYA (lead triage, n=50)
A terse one-liners 47/50 34/50 21/50
B rich criteria 49/50 28/50 15/50
C rich + exclusions 48/50 24/50 19/50
D deliberately lazy 48/50 22/50 24/50
先看下限,再看離散度。 下限是「如果我寫得很糟,這個模型還能勝任工作嗎?」;離散度是「維護這個配置會花多少成本?」。根據指令任務的實際測量,每個託管模型的下限都在 82–92%(Haiku 46-48, GPT-4.1-mini 45-50, Jev 44-49, GPT-5-mini 41-49),而 Von 的下限是 9/50,Laya 是 18/50。請注意,Jev 並不像小 LLM 那樣對措辭更穩健 —— 它同樣有約十個百分點的波動。你買到的是下限,而不是免疫力。
請注意,左欄的結果並沒有呈現一個清晰的「越詳細越好」的趨勢。Von 在此的最佳配置反而是簡潔版。任何能夠移動開放模型數字的能力,反映的是對表面形式的敏感度,而不是真正的理解,所以不要假設下一次重寫 criteria 就一定能提升表現 —— 用評估集重新跑一遍。
3. 為每個 noul 掃描閾值
永遠不要直接使用 0.5。掃描並閱讀曲線:
for t in [0.5,0.6,0.7,0.75,0.8,0.85,0.9,0.95]:
tp = sum(p>=t and y for p,y in z); fp = sum(p>=t and not y for p,y in z)
fn = sum(p< t and y for p,y in z); tn = sum(p< t and not y for p,y in z)
print(f"{t} P={tp/max(tp+fp,1):.2f} R={tp/max(tp+fn,1):.2f} acc={(tp+tn)/len(z):.2f}")
不同模型有不同的下限。Jev 的 noul 在那些明顯乾淨的記錄上落在 0.2–0.5,而 Claude 則降到 0.0 —— 所以 Jev 的真正閾值大約是 0.85。為某個模型調校的閾值無法轉移到另一個模型。更換模型時請重新掃描。
4. 誠實評估信心門檻
兩個數字,永遠一起看:
errs = [r for r in rows if r.pred != r.truth]
rights = [r for r in rows if r.pred == r.truth]
for g in [0.5,0.7,0.9]:
caught = sum(r.conf < g for r in errs) # 門檻攔截到的錯誤
escalated = sum(r.conf < g for r in rows) # 被提升的總流量
print(f"gate {g}: catches {caught}/{len(errs)} errors, escalates {escalated/len(rows):.0%} of volume")
一個能攔截 10/11 個錯誤,但卻提升了 93% 流量的門檻,不是一個有效的門檻 —— 它只是一個多了額外步驟的慢路徑。沒有良好準確度的校準,買不到任何東西。
5. 報告
- 每個配置、每個模型的準確率,並標明離散程度
- 為每個 noul 選擇的閾值,以及支撐該選擇的掃描結果
- 門檻:攔截的錯誤數 以及 提升的流量比例
- 在生產量下,預估的延遲與每千次請求成本
- 明確說明評估集的大小以及未覆蓋的範圍
小樣本會誤導。如果兩個模型在 15 筆記錄上都得到 100%,這無法區分任何東西 —— 直接說出來,而不是暗示這個平手有意義。
相關技能
jev-integrate 是這個流程對接的整合工作流程。jev-audit 則用於尋找值得評估的候選案例。