Évaluation d'une configuration à décision typée
Le jeu d'évaluation est le produit. La précision d'un modèle System One est dominée par la façon dont la question a été rédigée, et le mode de défaillance est silencieux : il renvoie une réponse fausse, mais de type valide et confiante. Sans étiquettes, vous ne pouvez pas distinguer une mauvaise question d'un mauvais modèle.
Mesuré : la réécriture des critères a fait passer un modèle ouvert de 4/15 à 14/15 sur 15 enregistrements. Aucun changement de modèle. Ensuite, la même comparaison sur 150 enregistrements a placé ce modèle à 61% global contre 97% pour Jev — la lecture sur 15 enregistrements était un artefact d'un petit ensemble facile. Les deux faits sont le point : la formulation fait varier les résultats, et les petits ensembles mentent sur la direction.
Exécution
python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
--backend jev|von --question <name>
labelled.json est [{"id","state","truth"}]. configs.json associe un nom de configuration à {"instructions", "criteria"} — un dictionnaire d'options en fait un choix, une liste de niveaux en fait un score, son omission en fait un noul. Le script lit la clé Jev depuis le trousseau (typesafe-api-key), affiche la précision par configuration, étiquette la dispersion ROBUSTE ou FRAGILE, balaye les seuils pour les nouls et évalue la porte de confiance.
Sortie réelle, 50 enregistrements de risque de commande shell d'agent, seul le backend a changé :
config accuracy ms/rec
A terse one-liners 45/50 410 <- Jev
B rich criteria 49/50 415
C rich + exclusions 46/50 418
D deliberately lazy 44/50 411
spread: 44/50 to 49/50 (ROBUST - wording is not load-bearing)
A terse one-liners 9/50 66 <- Von, same configs
B rich criteria 23/50 121
C rich + exclusions 15/50 129
D deliberately lazy 22/50 53
spread: 9/50 to 23/50 (FRAGILE - and the ceiling is still not usable)
Lisez le plafond avant la dispersion. Un modèle FRAGILE dont la meilleure configuration est 23/50 n'est pas un problème de formulation que vous pouvez résoudre par l'écriture — c'est le mauvais modèle pour cette question.
1. Construire l'ensemble
50 enregistrements minimum, 200+ avant de déployer. Prélevez du flux réel, pas de données synthétiques.
- Incluez le milieu banal, pas seulement des exemples propres et des cas limites spectaculaires
- Incluez des enregistrements avec des métadonnées cassées/manquantes — c'est là que les classifieurs échouent
- Étiquetez en lisant l'enregistrement, avant toute exécution du modèle. N'étiquetez jamais à partir de la sortie du modèle
- Stockez en JSON avec l'enregistrement brut plus un champ
truth
[{"id":"D-1994","state":"...full record text...","truth":"inbound_prospect"}]
Si vous ne pouvez pas étiqueter un enregistrement avec confiance vous-même, le modèle non plus — soit supprimez-le, soit corrigez la question pour que la réponse soit déterminée.
2. Balayer les formulations, pas seulement les modèles
Le mouvement central. Écrivez 3 à 4 configurations de critères vraiment différentes et exécutez-les toutes :
- A — une ligne concise par option (ce que tout le monde écrit en premier)
- B — 3–4 phrases par option avec des exemples concrets
- C — B plus un défaut explicite et des exclusions explicites ("UNIQUEMENT quand…")
- D — délibérément paresseux, quatre ou cinq mots, comme test de plancher
Rapportez la précision par configuration par modèle :
config JEV VON LAYA (lead triage, n=50)
A terse one-liners 47/50 34/50 21/50
B rich criteria 49/50 28/50 15/50
C rich + exclusions 48/50 24/50 19/50
D deliberately lazy 48/50 22/50 24/50
Lisez le plancher d'abord, puis la dispersion. Le plancher est "ce modèle peut-il faire le travail du tout si je le formule mal" ; la dispersion est "combien cela me coûtera-t-il à maintenir." Mesuré sur la tâche de commande, chaque modèle hébergé plafonne à 82-92 % (Haiku 46-48, GPT-4.1-mini 45-50, Jev 44-49, GPT-5-mini 41-49) tandis que Von plafonne à 9/50 et Laya à 18/50. Notez que Jev n'est pas plus robuste à la formulation qu'un petit LLM — il varie des mêmes dix points. Ce que vous achetez, c'est le plancher, pas l'immunité.
Notez ce que la colonne des leads ne montre PAS : un gradient propre "plus c'est riche, mieux c'est". La meilleure configuration de Von ici est la plus concise. Tout ce qui fait varier les chiffres d'un modèle ouvert est une sensibilité à la forme de surface, pas à la compréhension, alors ne supposez pas que votre prochaine réécriture de critères l'améliore — relancez l'ensemble.
3. Balayer les seuils pour chaque noul
Ne déployez jamais 0.5. Balayez et lisez la courbe :
for t in [0.5,0.6,0.7,0.75,0.8,0.85,0.9,0.95]:
tp = sum(p>=t and y for p,y in z); fp = sum(p>=t and not y for p,y in z)
fn = sum(p< t and y for p,y in z); tn = sum(p< t and not y for p,y in z)
print(f"{t} P={tp/max(tp+fp,1):.2f} R={tp/max(tp+fn,1):.2f} acc={(tp+tn)/len(z):.2f}")
Différents modèles ont différents planchers. Le noul de Jev se situait à 0,2–0,5 sur des enregistrements manifestement propres, là où Claude tombait à 0,0 — donc son vrai seuil était ~0,85. Un seuil ajusté sur un modèle ne se transfère pas à un autre. Re-balayez lorsque vous changez.
4. Évaluer honnêtement la porte de confiance
Deux nombres, toujours ensemble :
errs = [r for r in rows if r.pred != r.truth]
rights = [r for r in rows if r.pred == r.truth]
for g in [0.5,0.7,0.9]:
caught = sum(r.conf < g for r in errs) # errors the gate escalates
escalated = sum(r.conf < g for r in rows) # total volume escalated
print(f"gate {g}: catches {caught}/{len(errs)} errors, escalates {escalated/len(rows):.0%} of volume")
Une porte qui attrape 10/11 erreurs tout en escaladant 93% du volume n'est pas une porte fonctionnelle — c'est un chemin lent avec des étapes supplémentaires. Une bonne calibration sans bonne précision n'achète rien.
5. Rapporter
- précision par configuration par modèle, avec la dispersion signalée
- seuil choisi pour chaque noul, avec le balayage qui l'a justifié
- porte : erreurs attrapées et volume escaladé
- latence et coût projetés pour 1 000 à volume de production
- déclaration explicite de la taille du jeu d'évaluation et de ce qu'il ne couvre pas
Les petits ensembles mentent. 15 enregistrements où deux modèles obtiennent tous les deux 100% ne distinguent rien — dites-le plutôt que d'impliquer que l'égalité est significative.
Lié
jev-integrate est le workflow de câblage que cela alimente. jev-audit trouve des candidats dignes d'évaluation.