Audit der Inferenzkosten
Die meisten Produktions-LLM-Aufrufe geben ein Label zurück – keine Prosa: eine Route, eine Punktzahl, ein Ja/Nein, eine Kategorie. Diese Aufrufe bezahlen für autoregressive Generierung, die sie nicht nutzen. Dieses Audit findet sie und bepreist den Wechsel.
Liefergegenstand: eine sortierte Tabelle der Kandidaten mit gemessenen Differenzen. Verkaufbar als OneWave-Engagement; gleiche Form wie marketing-brain – ein wiederholbares Audit pro Kunde.
1. Kandidaten finden
Suche nach LLM-Aufrufen, dann filtere zu denen, deren Ausgabe ein Label ist:
grep -rnE "messages\.create|chat\.completions|generateText|\.invoke\(|anthropic\.|openai\." \
--include=*.{ts,tsx,js,py} . | grep -v node_modules
Ein Aufruf ist ein Kandidat, wenn alle dieser Bedingungen zutreffen:
- Das Prompt fragt nach einer aus einer bekannten, endlichen Menge von Antworten (≤255)
- Der Aufrufer parst die Antwort – JSON.parse, ein Regex, ein Enum-Lookup,
.trim() - Nichts nachgelagert zeigt einem Menschen die Argumentation des Modells
- Es läuft oft, oder ein Benutzer wartet darauf
Starke Signale im Prompt-Text: "antworten Sie nur mit", "JSON zurückgeben", "klassifizieren", "wählen Sie eine von", "bewerten Sie von 1 bis", "antworten Sie ja oder nein", "nicht erklären".
Ausschlusskriterien: Die Ausgabe wird einem Benutzer angezeigt, wird als Inhalt verwendet, benötigt eine Quellenangabe oder Begründung, oder die Antwortmenge ist offen.
2. Messen, was es heute kostet
Nicht schätzen. Instrumentieren:
- Aufrufe/Tag – aus Logs oder einem Zähler, keine Schätzung
- p50- und p95-Latenz – p95 ist das, was Benutzer fühlen
- Tokens rein/raus pro Aufruf → aktuelle $/1k Aufrufe zum Listenpreis des Anbieters
- Wird etwas davon blockiert – ein Benutzer, ein Seiten-Rendering, der nächste Schritt eines Agenten
3. Den Wechsel bepreisen
Benchmark gegen einen gelabelten Satz aus dem tatsächlichen Traffic dieses Aufrufs (siehe jev-eval). Niemals von einem Hersteller-Benchmark ausgehen.
Referenzzahlen, gemessen auf echten Datensätzen, 4 Fragen pro Datensatz:
| Latenz | Kosten/1k | Genauigkeit | |
|---|---|---|---|
| Jev gehostet | 399 ms | $0,023 | entspricht Claude bei einem 15-Datensatz-Set |
| Von lokal | 174 ms | $0,00 | entspricht nur bei gut formulierten Kriterien |
| Claude Haiku 4.5 | 2.322 ms | ~$0,55 | Baseline |
Jev-Preise: $0,042/MTok Eingabe, Ausgabe kostenlos.
4. Nach Nutzen sortieren, nicht nach Einfachheit
Sortiere jeden Kandidaten nach:
- Volumen × Einsparung pro Einheit – der tatsächliche Dollarbetrag
- Wartet ein Mensch? – Latenzgewinne sind bei benutzernahen Pfaden mehr wert als Kosteneinsparungen
- Schadensradius bei Fehlern – Eine falsch weitergeleitete Support-Anfrage ist billig; eine falsch bewertete Transaktion nicht.
- Genauigkeitsdifferenz zum gelabelten Satz – Alles unterhalb der Gleichwertigkeit benötigt ein Konfidenz-Gate, und ein Gate hat seine eigenen Kosten.
Verwerfe alles, wo das Volumen gering ist. Bei ein paar hundert Aufrufen pro Tag runden sich die Einsparungen auf null und du hast einen Anbieter hinzugefügt.
5. Dokumentieren
Pro Kandidat: Datei und Zeile, wofür die Entscheidung steht, Aufrufe/Tag, aktuelle Latenz und Kosten, prognostizierte Latenz und Kosten, gemessene Genauigkeitsdifferenz, empfohlenes Gate und ein Go / No-Go mit Begründung.
Leite die Zusammenfassung mit der gesamten prognostizierten monatlichen Ersparnis und dem größten einzelnen Latenzgewinn ein.
Füge immer die Einschränkungen hinzu: Größe des Evaluierungssatzes, dass Jev ein Early-Access-Programm ohne SLA ist und dass ein Fallback auf den bestehenden Aufruf bestehen bleiben muss.
Wo sich dies im OneWave-Stack auszahlt
- Sage-Widget-Routing – baue es. Ein Besucher schaut zu; 400 ms vs. 2,3 s machen den ganzen Unterschied.
- RB2B-Besucher-Firehose – baue es. Der einzige Strom mit Volumen, bei dem 24-fach günstiger sich lohnt.
- Lead-Intake-Klassifikation – zuerst messen. Korrekt, aber nur eine Handvoll Leads pro Tag.
- Lead-Watchdog – lass es. Nächtlicher Cron, nichts wartet darauf.
Verwandte
jev-eval liefert die Genauigkeitszahlen, auf die dieses Audit angewiesen ist. jev-integrate ist der Integrations-Workflow für alles, was ein Go bekommt.