Auditoria de custo de inferência
A maioria das chamadas de LLM em produção retorna um rótulo, não prosa — uma rota, uma pontuação, um sim/não, uma categoria. Essas chamadas pagam por geração autorregressiva que elas não utilizam. Esta auditoria as encontra e precifica a substituição.
Entregável: uma tabela classificada de candidatos com deltas medidos. Vendável como um engajamento
OneWave; mesma forma que marketing-brain — uma auditoria repetível executada por cliente.
1. Encontrar os candidatos
Procure por chamadas de LLM e filtre aquelas cuja saída é um rótulo:
grep -rnE "messages\.create|chat\.completions|generateText|\.invoke\(|anthropic\.|openai\." \
--include=*.{ts,tsx,js,py} . | grep -v node_modules
Uma chamada é candidata quando todas as condições a seguir são verdadeiras:
- o prompt pede uma de um conjunto conhecido e finito de respostas (≤255)
- o chamador interpreta a resposta — JSON.parse, uma regex, uma busca em enum,
.trim() - nada downstream mostra o raciocínio do modelo a um humano
- é executada com frequência, ou um usuário aguarda por ela
Sinais fortes no texto do prompt: "responda apenas com", "retorne JSON", "classifique", "escolha um de", "avalie de 1 a", "responda sim ou não", "não explique".
Desqualificadores: a saída é mostrada a um usuário, é usada como conteúdo, precisa de citação ou justificativa, ou o conjunto de respostas é aberto.
2. Medir quanto custa hoje
Não estime. Instrumente:
- chamadas/dia — de logs ou um contador, não um palpite
- latência p50 e p95 — p95 é o que os usuários sentem
- tokens entrada/saída por chamada → $/1k chamadas atual ao preço de tabela do provedor
- algo está bloqueado nela — um usuário, uma renderização de página, o próximo passo de um agente
3. Precificar a substituição
Compare com um conjunto rotulado do tráfego real dessa chamada (veja jev-eval). Nunca projete a partir de
um benchmark de fornecedor.
Números de referência, medidos em registros reais, 4 perguntas por registro:
| latência | custo/1k | acurácia | |
|---|---|---|---|
| Jev hospedado | 399 ms | $0.023 | igualou Claude em um conjunto de 15 registros |
| Von local | 174 ms | $0.00 | igualou apenas com critérios bem escritos |
| Claude Haiku 4.5 | 2.322 ms | ~$0.55 | linha de base |
Precificação Jev: $0,042/MTok entrada, saída gratuita.
4. Classificar por retorno, não por facilidade
Classifique cada candidato por:
- volume × economia unitária — o valor em dólares real
- um humano está esperando — ganhos de latência valem mais que ganhos de custo em caminhos voltados ao usuário
- raio de explosão se errar — um ticket de suporte mal encaminhado é barato; uma transação mal pontuada não é
- delta de acurácia no conjunto rotulado — qualquer coisa abaixo da paridade precisa de uma porta de confiança, e uma porta tem seu próprio custo
Elimine qualquer coisa onde o volume é baixo. Com algumas centenas de chamadas por dia a economia é próxima de zero e você adicionou um fornecedor.
5. Escrever o relatório
Por candidato: arquivo e linha, o que ele decide, chamadas/dia, latência e custo atuais, latência e custo projetados, delta de acurácia medido, porta de confiança recomendada, e um vai / não vai com o motivo.
Lidere o resumo com a economia mensal projetada total e o maior ganho de latência individual.
Sempre inclua as limitações: tamanho do conjunto de avaliação, que o Jev está em acesso antecipado sem SLA, e que um fallback para a chamada existente deve permanecer conectado.
Onde isso compensa na stack OneWave
- Roteamento de widget Sage — construa. Um visitante está observando; 400 ms vs 2,3 s é toda a diferença.
- Fluxo de visitantes RB2B — construa. O único fluxo com volume onde 24x mais barato se acumula.
- Classificação de leads de entrada — meça primeiro. Correto, mas algumas dezenas de leads por dia.
- Vigilante de leads — deixe como está. Cron noturno, nada depende dele.
Relacionados
jev-eval produz os números de acurácia dos quais esta auditoria depende. jev-integrate é o
fluxo de trabalho de conexão para qualquer coisa que receba um 'vai'.