Conexión de un modelo System One a una funcionalidad
Un modelo System One responde preguntas tipadas en un solo paso directo. No genera texto. Estado de entrada, respuestas tipadas con probabilidades calibradas de salida. Es un if-statement que puede leer.
Úsalo cuando la decisión sea estrecha, preespecificada y repetitiva. No lo uses para nada que necesite una explicación escrita — eso sigue siendo tarea de Claude.
Antes de nada: ¿es realmente la herramienta adecuada?
Responde estas tres. Si alguna es "no", detente y mantén la llamada al LLM.
- ¿Se conocen las respuestas posibles de antemano? El límite de opciones es 255.
- ¿El llamante necesita solo la etiqueta, no el razonamiento? Si un humano lee una justificación posterior, necesitas prosa y esta es la herramienta equivocada.
- ¿Es de alto volumen, o hay una persona esperando? Esto es una optimización de latencia y coste, no una ganancia de capacidad. No sabe nada que Claude no sepa. En un cron nocturno sobre cincuenta registros, te aporta una dependencia y nada más.
Medido en 150 registros etiquetados a mano en tres tareas (nuestra ejecución del 20 de septiembre de 2026): Jev empata con GPT-5.2 en 145/150 y cuesta 46 veces menos ($0.036 vs $1.64 por cada 1k registros), pero de extremo a extremo es solo 1.7 veces más rápido que GPT-4.1-mini — la publicación de 40x-200x es contra un flujo de trabajo fronterizo de 3-329 s de múltiples pasos, no una llamada.
Las reproducciones abiertas no son intercambiables. Misma ejecución: Von 1.0.1 (395M) 92/150 (61%),
Laya (421M) 62/150 (41%). Colapsan en una clase en lugar de degradarse — Von
predijo exfiltration 25 veces en un conjunto de 50 comandos que contenía cinco. Una compuerta de confianza
no rescata eso: detectar los errores de Von significó escalar el 92% del volumen, Laya el 100%,
frente al 8% de Jev. Úsalos solo donde los hayas medido en tu propio conjunto etiquetado.
Los tres tipos de pregunta
"lead_type": {"type":"choice", "instructions": "...", "criteria": {"opt_a":"desc","opt_b":"desc"}}
"is_urgent": {"type":"noul", "instructions": "..."} # -> 0.0–1.0
"priority": {"type":"score", "instructions": "...", "criteria":["ignore","low","high"]}
Haz todas las preguntas que necesites en una sola llamada — todas se resuelven en el mismo paso directo, así que cuatro preguntas cuestan aproximadamente lo que una.
Forma de la respuesta (tanto Jev como Von):
r["answers"]["lead_type"]["choice"] # la etiqueta
r["answers"]["lead_type"]["probabilities"] # distribución completa
r["answers"]["lead_type"]["confidence"] # usa esto para la compuerta
r["answers"]["is_urgent"]["noul"] # 0.0–1.0
r["answers"]["priority"]["score"] # posición en la escala, ej. 2.41
Flujo de trabajo
1. Construye el conjunto etiquetado PRIMERO — mínimo 50 registros
No negociable, y el paso de mayor valor. Etiqueta a mano registros reales del
flujo que pretendes apuntar, antes de escribir ningún criterio. Sin él no puedes
saber si una pregunta es mala o el modelo es malo, y el fallo es silencioso — ver jev-eval.
2. Escribe los criterios como si se los explicaras a un nuevo empleado
Peor a mejor en cuatro redacciones de las mismas preguntas, 50 registros por tarea (nuestra ejecución del 20 de septiembre de 2026):
| tarea | Jev | Von (395M) | Laya (421M) |
|---|---|---|---|
| riesgo de comando de agente | 44-49 (10 pts) | 9-23 (28 pts) | 18-28 (20 pts) |
| triaje de leads | 47-49 (4 pts) | 22-34 (24 pts) | 15-24 (18 pts) |
| enrutamiento de tickets | 41-47 (12 pts) | 23-41 (36 pts) | 22-36 (28 pts) |
Mismo barrido en la tarea de comandos con los LLMs incluidos: Haiku 4.5 46-48 (4 pts), GPT-4.1-mini 45-50 (10 pts), Jev 44-49 (10 pts), GPT-5-mini 41-49 (16 pts).
Jev NO es más robusto a la redacción que un LLM pequeño — oscila los mismos diez puntos, y Haiku fue el modelo más estable en la prueba. Lee el PISO, no la dispersión: todo modelo alojado llega al 82-92% y sigue siendo publicable, mientras que Von llega al 18% y Laya al 36%. NO leas esto como "escribe mejores criterios y el modelo abierto se pondrá al día" — una prueba anterior con 15 registros concluyó exactamente eso y estaba equivocada. Criterios más ricos no ayudaron de manera fiable: en el triaje de leads Von obtuvo 34/50 con la redacción escueta y 28/50 con la redacción cuidadosa. Lo que mueve esos números es la sensibilidad a la forma superficial, no a la comprensión, así que cada futura edición de criterios es un riesgo de regresión no anunciado.
Escribe cada opción con: qué es, qué no es, y el caso límite que tienta a una respuesta incorrecta. Nombra el valor por defecto explícitamente cuando una opción deba dominar.
3. Calibra los umbrales contra el conjunto etiquetado — nunca asumas 0.5
Un noul es una probabilidad, no un booleano. El noul de Jev tiene un piso: en registros que estaban claramente limpios aún devolvía 0.2–0.5 donde Claude devolvía 0.0. En los datos medidos el corte útil fue ~0.85, no 0.5. Los umbrales no se transfieren entre modelos — vuelve a barrer cuando cambies.
No escribas el barrido a mano. jev-eval se encarga de la calibración y entrega la herramienta:
python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
--backend jev --question <name>
4. Diseña la compuerta de confianza
Escala las respuestas de baja confianza a Claude. El mismo script informa ambas mitades que importan —
qué fracción de errores detecta la compuerta, y qué fracción de volumen escala —
y etiqueta el resultado. Una compuerta que detecta todos los errores mientras escala el 73% del tráfico se puntúa
como no ahorra nada, porque es un camino lento con pasos extra. Si ves eso, la solución es
mejores criterios o el modelo alojado, no un umbral diferente.
a = r["answers"]["lead_type"]
if a["confidence"] < GATE:
return escalate_to_claude(state) # camino lento
return a["choice"] # camino rápido
5. Despliega detrás de un flag, registra ambos caminos durante una semana
Registra la respuesta de System One y lo que habría dicho el camino anterior. Compara en tráfico real antes de migrar. Nunca migres basándote solo en números del conjunto de evaluación.
Rutas de acceso
# 1. TipoSafe directo — clave en macOS Keychain, servicio `typesafe-api-key`
export TYPESAFE_API_KEY="$(security find-generic-password -s typesafe-api-key -w)"
curl -X POST https://api.typesafe.ai/v1/systemone \
-H "Authorization: Bearer $TYPESAFE_API_KEY" -H "Content-Type: application/json" \
-d '{"model":"jev-latest","state":"...","questions":{...}}'
// 2. Cloudflare Workers AI — sin lista de espera
await env.AI.run('typesafe/jev', { state, questions })
# 3. Von — local, gratuito, Apache-2.0, 395M ModernBERT
# pip install von-sdk
import von
r = von.system_one(state="...", questions={"x": von.Noul(instructions="...")})
r.answers["x"].noul
Trampas
Choicede Von usacriteria=, nochoices=. Error de Pydantic si aciertas.- Von devuelve
.answers[k], no.nouls[k]/.choices[k]. El wrapper de LangChain difiere del SDK puro aquí. - El arranque en frío de 34 s de Von carga los pesos. Caliéntalo al arrancar; nunca lo midas en latencia.
- No pongas un umbral noul en 0.5. Ver paso 3.
- Jev es acceso temprano, proveedor único, sin SLA. No pongas un camino crítico orientado al cliente sin un respaldo a Claude.
- Los conjuntos de evaluación pequeños mienten. 15 registros donde ambos modelos alojados obtuvieron el 100% no prueban casi nada. Usa cientos.
Relacionados
jev-eval construye y ejecuta el conjunto etiquetado. jev-audit encuentra qué llamadas LLM existentes
en un código base merecen ser convertidas.