Brancher un modèle System One dans une fonctionnalité
Un modèle System One répond à des questions typées en un seul passage avant. Il ne génère pas de texte. État en entrée, réponses typées avec probabilités calibrées en sortie. C'est un if qui peut lire.
Utilisez-le lorsque la décision est étroite, pré-spécifiée et répétée. Ne l'utilisez pas pour quoi que ce soit qui nécessite une explication écrite — cela reste du ressort de Claude.
Avant toute chose : est-ce vraiment le bon outil
Répondez à ces trois questions. Si l'une est "non", arrêtez-vous et conservez l'appel LLM.
- Les réponses possibles sont-elles connues à l'avance ? Maximum 255 options.
- L'appelant a-t-il besoin uniquement de l'étiquette, pas du raisonnement ? Si un humain lit une justification en aval, il vous faut du texte et c'est le mauvais outil.
- Le volume est-il élevé, ou une personne attend-elle ? C'est une optimisation de latence et de coût, pas un gain de capacité. Il ne sait rien que Claude ne sache pas. Sur un cron nocturne de cinquante enregistrements, cela vous apporte une dépendance et rien de plus.
Mesuré sur 150 enregistrements labellisés à la main sur trois tâches (notre run du 20 sept. 2026) : Jev est à égalité avec GPT-5.2 à 145/150 et coûte 46x moins cher ($0.036 contre $1.64 pour 1k enregistrements), mais de bout en bout il n'est que 1.7x plus rapide que GPT-4.1-mini — la publication de 40x-200x est par rapport à un workflow frontal multi-étapes de 3-329 s, pas un seul appel.
Les reproductions open source ne sont pas interchangeables. Même run : Von 1.0.1 (395M) 92/150 (61%),
Laya (421M) 62/150 (41%). Elles s'effondrent sur une seule classe plutôt que de se dégrader — Von
a prédit exfiltration 25 fois sur un ensemble de 50 commandes contenant cinq classes. Une porte de confiance
ne sauve pas cela : attraper les erreurs de Von signifiait escalader 92% du volume, Laya 100%,
contre 8% pour Jev. Utilisez-les uniquement là où vous les avez mesurés sur votre propre ensemble labellisé.
Les trois types de questions
"type_lead": {"type":"choice", "instructions": "...", "criteria": {"opt_a":"desc","opt_b":"desc"}}
"est_urgent": {"type":"noul", "instructions": "..."} # -> 0.0–1.0
"priorite": {"type":"score", "instructions": "...", "criteria":["ignorer","faible","élevé"]}
Posez toutes les questions dont vous avez besoin en un seul appel — elles se résolvent toutes dans le même passage avant, donc quatre questions coûtent à peu près ce qu'en coûte une.
Structure de réponse (Jev et Von) :
r["answers"]["type_lead"]["choice"] # l'étiquette
r["answers"]["type_lead"]["probabilities"] # distribution complète
r["answers"]["type_lead"]["confidence"] # utilisez ceci pour la porte
r["answers"]["est_urgent"]["noul"] # 0.0–1.0
r["answers"]["priorite"]["score"] # position sur l'échelle, ex. 2.41
Workflow
1. Construisez l'ensemble labellisé D'ABORD — 50 enregistrements minimum
Non négociable, et l'étape la plus importante. Labellisez à la main des enregistrements réels provenant du
flux que vous ciblez, avant d'écrire des critères. Sans cela, vous ne pouvez pas
distinguer une mauvaise question d'un mauvais modèle, et l'échec est silencieux — voir jev-eval.
2. Rédigez les critères comme si vous expliquiez à une nouvelle recrue
Étendue du pire au meilleur sur quatre formulations des mêmes questions, 50 enregistrements par tâche (notre run du 20 sept. 2026) :
| tâche | Jev | Von (395M) | Laya (421M) |
|---|---|---|---|
| risque de commande agent | 44-49 (10 pts) | 9-23 (28 pts) | 18-28 (20 pts) |
| triage de piste | 47-49 (4 pts) | 22-34 (24 pts) | 15-24 (18 pts) |
| routage de ticket | 41-47 (12 pts) | 23-41 (36 pts) | 22-36 (28 pts) |
Même balayage sur la tâche de commande avec les LLM inclus : Haiku 4.5 46-48 (4 pts), GPT-4.1-mini 45-50 (10 pts), Jev 44-49 (10 pts), GPT-5-mini 41-49 (16 pts).
Jev n'est PAS plus robuste aux formulations qu'un petit LLM — il fluctue des mêmes dix points, et Haiku était le modèle le plus stable du test. Lisez le PLANCHER, pas l'étendue : chaque modèle hébergé plafonne à 82-92% et reste livrable, tandis que Von plafonne à 18% et Laya à 36%. Ne lisez PAS cela comme "écrivez de meilleurs critères et le modèle open source rattrape son retard" — un test antérieur de 15 enregistrements a conclu exactement cela et c'était faux. Des critères plus riches n'ont pas aidé de manière fiable : sur le triage de piste, Von a obtenu 34/50 avec la formulation concise et 28/50 avec la formulation soigneusement rédigée. Ce qui fait bouger ces chiffres, c'est la sensibilité à la forme de surface, pas la compréhension, donc chaque future modification de critère est un risque de régression non annoncée.
Rédigez chaque option avec : ce que c'est, ce que ce n'est pas, et le cas limite qui tente une mauvaise réponse. Nommez explicitement la valeur par défaut lorsqu'une option doit dominer.
3. Calibrez les seuils sur l'ensemble labellisé — ne supposez jamais 0.5
Un noul est une probabilité, pas un booléen. Le noul de Jev a un plancher : sur des enregistrements clairement propres, il renvoyait encore 0.2–0.5 là où Claude renvoyait 0.0. Sur les données mesurées, la coupure utile était ~0.85, pas 0.5. Les seuils ne se transfèrent pas entre modèles — re-balayez lorsque vous changez.
N'écrivez pas le balayage à la main. jev-eval possède le calibrage et livre l'outil :
python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
--backend jev --question <nom>
4. Concevez la porte de confiance
Escaladez les réponses à faible confiance vers Claude. Le même script rapporte les deux moitiés qui comptent —
quelle fraction d'erreurs la porte attrape, et quelle fraction de volume elle escalade —
et étiquette le résultat. Une porte qui attrape chaque erreur tout en escaladant 73% du trafic est notée
ne sauve rien, car c'est un chemin lent avec des étapes supplémentaires. Si vous voyez cela, la solution est
de meilleurs critères ou le modèle hébergé, pas un seuil différent.
a = r["answers"]["type_lead"]
if a["confidence"] < PORTE:
return escalader_vers_claude(state) # chemin lent
return a["choice"] # chemin rapide
5. Livrez derrière un flag, loggez les deux chemins pendant une semaine
Loggez la réponse System One et ce que l'ancien chemin aurait dit. Comparez sur le trafic réel avant de basculer. Ne basculez jamais uniquement sur les chiffres de l'ensemble d'évaluation.
Chemins d'accès
# 1. TypeSafe direct — clé dans le Trousseau macOS, service `typesafe-api-key`
export TYPESAFE_API_KEY="$(security find-generic-password -s typesafe-api-key -w)"
curl -X POST https://api.typesafe.ai/v1/systemone \
-H "Authorization: Bearer $TYPESAFE_API_KEY" -H "Content-Type: application/json" \
-d '{"model":"jev-latest","state":"...","questions":{...}}'
// 2. Cloudflare Workers AI — pas de liste d'attente
await env.AI.run('typesafe/jev', { state, questions })
# 3. Von — local, gratuit, Apache-2.0, 395M ModernBERT
# pip install von-sdk
import von
r = von.system_one(state="...", questions={"x": von.Noul(instructions="...")})
r.answers["x"].noul
Pièges
Choicede Von prendcriteria=, paschoices=. Erreur Pydantic si vous devinez mal.- Von renvoie
.answers[k], pas.nouls[k]/.choices[k]. Le wrapper LangChain diffère du SDK brut ici. - Le démarrage à froid de 34 s de Von charge les poids. Réchauffez-le au démarrage ; ne le mesurez jamais dans la latence.
- Ne seuillez pas un noul à 0.5. Voir l'étape 3.
- Jev est en accès anticipé, fournisseur unique, pas de SLA. Ne mettez pas un chemin critique orienté client dessus sans un repli vers Claude.
- Les petits ensembles d'évaluation mentent. 15 enregistrements où les deux modèles hébergés ont obtenu 100% ne prouvent presque rien. Utilisez des centaines.
Associé
jev-eval construit et exécute l'ensemble labellisé. jev-audit trouve quels appels LLM existants
dans une base de code valent la peine d'être convertis.