推論コスト監査
ほとんどのプロダクションLLM呼び出しは、散文ではなくラベル（ルート、スコア、はい/いいえ、カテゴリ）を返します。これらの呼び出しは、実際には使用しない自己回帰生成に対して支払いを行っています。この監査はそれらを見つけ出し、切り替え費用を見積もります。
成果物：測定された差を含む優先順位付けされた候補テーブル。OneWaveエンゲージメントとして販売可能。marketing-brainと同じ形式で、クライアントごとに実行可能な反復可能な監査です。
1. 候補を見つける
LLM呼び出しを検索し、出力がラベルであるものに絞り込みます：
grep -rnE "messages\.create|chat\.completions|generateText|\.invoke\(|anthropic\.|openai\." \
--include=*.{ts,tsx,js,py} . | grep -v node_modules
以下の条件をすべて満たす呼び出しが候補となります：
- プロンプトが既知の有限な回答セット（≤255）のうち1つを求めている
- 呼び出し側が応答をパースしている（JSON.parse、正規表現、enumルックアップ、
.trim()など） - 下流でモデルの推論内容が人間に表示されない
- 頻繁に実行される、またはユーザーがその応答を待っている
プロンプトテキスト内の強力なシグナル：「respond with only」、「return JSON」、「classify」、「choose one of」、「rate from 1 to」、「answer yes or no」、「do not explain」
除外条件：出力がユーザーに表示される、コンテンツとして使用される、引用や説明が必要、または回答セットがオープンエンドである場合。
2. 現在のコストを測定する
推定は行わないでください。以下の項目を計測します：
- 1日あたりの呼び出し数 — ログまたはカウンターから取得。推測は禁止。
- p50およびp95レイテンシ — p95はユーザーが実際に感じる値です。
- 1回の呼び出しあたりの入出力トークン数 → プロバイダのリスト価格での現在のコスト/1k呼び出し
- 何かがこれを待っているか — ユーザー、ページレンダリング、エージェントの次のステップなど
3. 切り替え費用を見積もる
その呼び出しの実際のトラフィックから取得したラベル付きセットに対してベンチマークを行います（jev-evalを参照）。ベンダーのベンチマークから推定しないでください。
実際のレコードで測定された参考数値（レコードあたり4つの質問）：
| レイテンシ | コスト/1k | 精度 | |
|---|---|---|---|
| Jevホスティング | 399 ms | $0.023 | 15レコードセットでClaudeと同等 |
| Vonローカル | 174 ms | $0.00 | 適切に記述された基準でのみ同等 |
| Claude Haiku 4.5 | 2,322 ms | ~$0.55 | ベースライン |
Jev価格：$0.042/MTok（入力）、出力無料
4. 容易さではなく、利益で順位付けする
各候補を以下の基準で順位付けします：
- ボリューム × 単位あたりの節約 — 実際の金額
- 人間が待機しているか — レイテンシの改善は、ユーザー向けパスではコスト削減よりも価値が高い
- 誤った場合の影響範囲 — 誤ったサポートチケットの振り分けは安価だが、誤ったトランザクションスコアはそうではない
- ラベル付きセットに対する精度の差 — 同等未満の場合は信頼ゲートが必要。ゲート自体にもコストがかかる
ボリュームが少ないものは除外します。1日あたり数百回の呼び出しでは、節約額はほぼゼロであり、ベンダーが増えるだけです。
5. レポートを作成する
候補ごとに：ファイルと行番号、何を決定するか、1日あたりの呼び出し数、現在のレイテンシとコスト、予測されるレイテンシとコスト、測定された精度の差、推奨されるゲート、および実行/不実行とその理由。
サマリーの先頭には、予測される月間総節約額と最大のレイテンシ改善を記載してください。
常に制限事項を含めること：評価セットのサイズ、JevがアーリーアクセスでありSLAがないこと、既存の呼び出しへのフォールバックを維持する必要があること。
OneWaveスタックでの適用範囲
- Sageウィジェットルーティング — 構築すべき。訪問者が見ています。400ms対2.3sは決定的な差です。
- RB2B訪問者データストリーム — 構築すべき。ボリュームがあり、24倍のコスト削減が効く唯一のストリームです。
- リードインテーク分類 — まず測定すべき。正確ですが、1日あたりのリード数はわずかです。
- リード監視 — そのまま維持。夜間cronであり、待機するものはありません。
関連情報
jev-evalは、この監査が依存する精度数値を生成します。jev-integrateは、実行が決定されたもののための配線ワークフローです。