评估类型决策配置
评估集即产品。 System One模型的准确性在很大程度上取决于问题的编写方式,其失败模式是静默的——它返回一个自信、类型有效但错误的答案。没有标签,你无法区分是问题糟糕还是模型糟糕。
实测结果:重写标准措辞后,一个开源模型在15条记录上的得分从4/15提升至14/15。模型未变。随后在150条记录上做相同对比,该模型整体准确率为61%,而Jev为97%——15条记录的读数只是小样本且易于集所带来的假象。这两个事实都说明问题:措辞会显著影响结果,而小样本集会误导方向。
运行
python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
--backend jev|von --question <name>
labelled.json 格式为 [{"id","state","truth"}]。configs.json 将配置名称映射到 {"instructions", "criteria"}——字典格式的选项表示选择,列表形式的级别表示评分,省略则表示noul。脚本从钥匙串(typesafe-api-key)中读取Jev密钥,打印每个配置的准确率,将差异标记为ROBUST或FRAGILE,扫描noul的阈值,并对置信度门控进行评分。
实际输出(50条代理shell命令风险记录,仅后端不同):
config 准确率 毫秒/条
A 简洁单行描述 45/50 410 <- Jev
B 丰富标准 49/50 415
C 丰富标准 + 排除项 46/50 418
D 故意简单描述 44/50 411
差异范围:44/50 至 49/50 (ROBUST - 措辞不是关键)
A 简洁单行描述 9/50 66 <- Von,相同配置
B 丰富标准 23/50 121
C 丰富标准 + 排除项 15/50 129
D 故意简单描述 22/50 53
差异范围:9/50 至 23/50 (FRAGILE - 但天花板仍然不可用)
先看天花板再看差异范围。一个FRAGILE模型,其最佳配置仅为23/50,这不是你通过修改措辞能解决的问题——这是在那个问题上选错了模型。
1. 构建评估集
最少50条记录,发布前至少200条。 从真实数据流中提取,而非合成数据。
- 包含无聊的中等样本,而不仅仅是清晰的示例和戏剧性的边缘案例
- 包含元数据损坏/缺失的记录——这正是分类器会失败的地方
- 通过阅读记录来标注,在任何模型运行之前。切勿根据模型输出进行标注
- 以JSON格式存储,包含原始记录和一个
truth字段
[{"id":"D-1994","state":"...完整记录文本...","truth":"inbound_prospect"}]
如果你自己都无法自信地标注一条记录,模型也不能——要么删除它,要么修改问题以使答案具有确定性。
2. 扫描措辞,而非仅模型
核心操作。编写3–4种真正不同的标准配置,并全部运行:
- A — 每个选项一行简洁描述(大多数人首先会写的)
- B — 每个选项3–4句话,附带具体示例
- C — B的基础上加上明确的默认值和明确的排除项("仅当……时")
- D — 故意简单描述,四五个词,作为底线测试
报告每个模型下各配置的准确率:
配置 JEV VON LAYA (主分类,n=50)
A 简洁单行描述 47/50 34/50 21/50
B 丰富标准 49/50 28/50 15/50
C 丰富标准 + 排除项 48/50 24/50 19/50
D 故意简单描述 48/50 22/50 24/50
先看底线,再看差异范围。 底线是“如果我表达得很糟糕,这个模型还能不能完成任务”;差异范围是“维护它需要付出多大代价。”根据在命令任务上的实测,每个托管模型的底线在82-92%(Haiku 46-48,GPT-4.1-mini 45-50,Jev 44-49,GPT-5-mini 41-49),而Von底线为9/50,Laya为18/50。注意,Jev在措辞鲁棒性上并不比小型LLM更强——它同样会波动约十个百分点。你购买的是底线,而非免疫力。
注意主分类列并未展示出一个清晰的“更丰富更好”的梯度。Von在此处的最佳配置是简洁版本。任何能提高开源模型数值的因素,都是对表面形式的敏感性,而非理解能力,所以不要认为你的下一次标准重写会提升它——重新运行评估集。
3. 为每个noul扫描阈值
永远不要直接发布0.5。扫描并读取曲线:
for t in [0.5,0.6,0.7,0.75,0.8,0.85,0.9,0.95]:
tp = sum(p>=t and y for p,y in z); fp = sum(p>=t and not y for p,y in z)
fn = sum(p< t and y for p,y in z); tn = sum(p< t and not y for p,y in z)
print(f"{t} P={tp/max(tp+fp,1):.2f} R={tp/max(tp+fn,1):.2f} acc={(tp+tn)/len(z):.2f}")
不同模型具有不同的底线。Jev的noul在明显干净的记录上落在0.2–0.5,而Claude则降至0.0——因此其实际截断点约为0.85。在一个模型上调优的阈值不能迁移到另一个模型上。切换模型时重新扫描。
4. 诚实评估置信度门控
两个数字,始终同时给出:
errs = [r for r in rows if r.pred != r.truth]
rights = [r for r in rows if r.pred == r.truth]
for g in [0.5,0.7,0.9]:
caught = sum(r.conf < g for r in errs) # 门控捕获的错误数
escalated = sum(r.conf < g for r in rows) # 升级的总量
print(f"门控 {g}: 捕获 {caught}/{len(errs)} 个错误,升级 {escalated/len(rows):.0%} 的流量")
一个门控捕获了11个错误中的10个,但升级了93%的流量,这不是一个有效的门控——它只是一个多了一层步骤的慢速路径。良好的校准若不伴随良好的准确率毫无价值。
5. 报告
- 每个模型下各配置的准确率,明确指出差异范围
- 每个noul选择的阈值,附带证明该选择合理的扫描结果
- 门控:捕获的错误数 和 升级的流量比例
- 在生产规模下每1k条记录的预估延迟和成本
- 明确说明评估集的大小及其未覆盖的内容
小样本集会撒谎。如果两条模型在15条记录上都得到100%准确率,那什么都无法区分——直接说明这一点,而非暗示该平局有意义。
相关
jev-integrate 是本评估流程所支撑的工作流。jev-audit 用于发现值得评估的候选对象。