Auditoría de costos de inferencia
La mayoría de las llamadas a LLM en producción devuelven una etiqueta, no texto narrativo — una ruta, una puntuación, un sí/no, una categoría. Esas llamadas pagan por una generación autoregresiva que no utilizan. Esta auditoría las encuentra y calcula el precio de la sustitución.
Entregable: una tabla clasificada de candidatos con diferencias medidas. Se vende como un compromiso de OneWave; tiene la misma forma que marketing-brain: una auditoría repetible que se ejecuta por cliente.
1. Encontrar los candidatos
Busca llamadas a LLM y luego filtra aquellas cuya salida es una etiqueta:
grep -rnE "messages\.create|chat\.completions|generateText|\.invoke\(|anthropic\.|openai\." \
--include=*.{ts,tsx,js,py} . | grep -v node_modules
Una llamada es candidata cuando todas las siguientes condiciones se cumplen:
- el prompt pide una de un conjunto conocido y finito de respuestas (≤255)
- quien llama analiza la respuesta — JSON.parse, una expresión regular, una búsqueda en enum,
.trim() - nada en el flujo descendente muestra a un humano el razonamiento del modelo
- se ejecuta con frecuencia, o un usuario espera en ella
Señales fuertes en el texto del prompt: "responde solo con", "devuelve JSON", "clasifica", "elige uno de", "califica del 1 al", "responde sí o no", "no expliques".
Descalificadores: la salida se muestra a un usuario, se utiliza como contenido, necesita una cita o justificación, o el conjunto de respuestas es abierto.
2. Medir lo que cuesta hoy
No estimes. Instrumenta:
- llamadas/día — a partir de registros o un contador, no de una suposición
- latencia p50 y p95 — la p95 es lo que sienten los usuarios
- tokens de entrada/salida por llamada → $/1k llamadas actual al precio de lista del proveedor
- ¿algo está bloqueado en ella? — un usuario, una renderización de página, el siguiente paso de un agente
3. Calcular el precio de la sustitución
Compara con un conjunto etiquetado del tráfico real de esa llamada (ver jev-eval). Nunca proyectes a partir de una prueba comparativa de un proveedor.
Números de referencia, medidos en registros reales, 4 preguntas por registro:
| latencia | costo/1k | precisión | |
|---|---|---|---|
| Jev alojado | 399 ms | $0.023 | igualó a Claude en un conjunto de 15 registros |
| Von local | 174 ms | $0.00 | igualó solo con criterios bien redactados |
| Claude Haiku 4.5 | 2,322 ms | ~$0.55 | línea base |
Precios de Jev: $0.042/MTok de entrada, salida gratis.
4. Clasificar por rendimiento, no por facilidad
Clasifica cada candidato según:
- volumen × ahorro unitario — la cifra en dólares real
- ¿un humano está esperando? — las mejoras en latencia valen más que las mejoras en costo en rutas que enfrenta el usuario
- radio de explosión si falla — un ticket de soporte mal dirigido es barato; una transacción mal puntuada no lo es
- diferencia de precisión en el conjunto etiquetado — cualquier valor por debajo de la paridad necesita una puerta de confianza, y una puerta tiene su propio costo
Descarta cualquier candidato con bajo volumen. Con unos pocos cientos de llamadas al día, los ahorros se redondean a cero y has añadido un proveedor.
5. Redactar el informe
Por candidato: archivo y línea, qué decide, llamadas/día, latencia y costo actuales, latencia y costo proyectados, diferencia de precisión medida, puerta de confianza recomendada, y una decisión de seguir adelante o no con la razón.
Encabeza el resumen con el ahorro mensual proyectado total y la mayor mejora de latencia individual.
Incluye siempre las limitaciones: el tamaño del conjunto de evaluación, que Jev está en acceso temprano sin SLA, y que debe mantenerse una alternativa a la llamada existente.
Dónde esto paga en el stack de OneWave
- Enrutamiento de widgets Sage — constrúyelo. Un visitante está mirando; 400 ms vs 2.3 s es toda la diferencia.
- Flujo continuo de visitantes RB2B — constrúyelo. El único flujo con volumen donde ser 24 veces más barato se acumula.
- Clasificación de entrada de leads — mide primero. Correcto, pero solo unos pocos leads al día.
- Vigilancia de leads — déjalo. Una tarea nocturna, nadie espera en ella.
Relacionados
jev-eval produce los números de precisión de los que depende esta auditoría. jev-integrate es el flujo de trabajo de conexión para cualquier cosa que reciba luz verde.