Que fait Audit des coûts d'inférence ?
La plupart des appels LLM en production renvoient une étiquette, pas un texte — une route, un score, un oui/non, une catégorie. Ces appels paient pour une génération autorégressive qu'ils n'utilisent pas. Cet audit les identifie et chiffre le remplacement.
Livrable : un tableau classé des candidats avec des écarts mesurés. Commercialisable comme une
mission OneWave ; même format que marketing-brain — un audit reproductible par client.
1. Trouver les candidats
Recherchez les appels LLM, puis filtrez ceux dont la sortie est une étiquette :
grep -rnE "messages\.create|chat\.completions|generateText|\.invoke\(|anthropic\.|openai\." \
--include=*.{ts,tsx,js,py} . | grep -v node_modules
Un appel est candidat lorsque toutes ces conditions sont remplies :
- le prompt demande l'une d'un ensemble connu et fini de réponses (≤255)
- l'appelant parse la réponse — JSON.parse, une regex, une recherche d'enum,
.trim() - rien en aval ne montre le raisonnement du modèle à un humain
- il s'exécute souvent, ou un utilisateur l'attend
Signaux forts dans le texte du prompt : « réponds uniquement avec », « retourne JSON », « classifie », « choisis un parmi », « note de 1 à », « réponds oui ou non », « n'explique pas ».
Exclusions : la sortie est affichée à un utilisateur, utilisée comme contenu, nécessite une citation ou une justification, ou l'ensemble de réponses est ouvert.
2. Mesurer ce que ça coûte aujourd'hui
Ne pas estimer. Instrumenter :
- appels/jour — à partir des logs ou d'un compteur, pas une supposition
- latence p50 et p95 — p95 est ce que ressentent les utilisateurs
- tokens en entrée/sortie par appel → $/1k appels actuel au prix catalogue du fournisseur
- quelque chose le bloque-t-il — un utilisateur, un rendu de page, l'étape suivante d'un agent
3. Chiffrer le remplacement
Comparer avec un ensemble étiqueté issu du trafic réel de cet appel (voir jev-eval). Ne jamais
projeter à partir d'un benchmark fournisseur.
Chiffres de référence, mesurés sur des enregistrements réels, 4 questions par enregistrement :
| latence | coût/1k | précision | |
|---|---|---|---|
| Jev hébergé | 399 ms | 0,023 $ | correspond à Claude sur un ensemble de 15 enregistrements |
| Von local | 174 ms | 0,00 $ | correspond uniquement avec des critères bien rédigés |
| Claude Haiku 4.5 | 2 322 ms | ~0,55 $ | référence |
Tarification Jev : 0,042 $/MTok en entrée, sortie gratuite.
4. Classer par rendement, pas par simplicité
Classer chaque candidat sur :
- volume × économie unitaire — le montant réel en dollars
- un humain attend-il — les gains de latence valent plus que les gains de coût sur les chemins utilisateur
- zone d'impact en cas d'erreur — un ticket de support mal orienté est bon marché ; une transaction mal notée ne l'est pas
- écart de précision sur l'ensemble étiqueté — tout ce qui est en dessous de la parité nécessite une porte de confiance, et une porte a son propre coût
Supprimer tout ce qui a un faible volume. À quelques centaines d'appels par jour, les économies sont quasi nulles et vous avez ajouté un fournisseur.
5. Rédiger le rapport
Par candidat : fichier et ligne, ce qu'il décide, appels/jour, latence et coût actuels, latence et coût projetés, écart de précision mesuré, porte de confiance recommandée, et une recommandation Go / No-Go avec la raison.
Commencer le résumé par l'économie mensuelle totale projetée et le plus grand gain de latence.
Toujours inclure les limites : taille de l'ensemble d'évaluation, accès anticipé à Jev sans SLA, et un repli vers l'appel existant doit rester en place.
Où cela paie dans la stack OneWave
- Routage des widgets Sage — à construire. Un visiteur regarde ; 400 ms contre 2,3 s fait toute la différence.
- Flux de visiteurs RB2B — à construire. Le seul flux avec un volume où 24× moins cher se cumule.
- Classification des leads entrants — d'abord mesurer. Correct, mais une poignée de leads par jour.
- Surveillance des leads — laisser tel quel. Cron nocturne, rien ne l'attend.
Liens connexes
jev-eval produit les chiffres de précision dont cet audit dépend. jev-integrate est le
workflow de câblage pour tout ce qui reçoit un Go.