추론 비용 감사
대부분의 프로덕션 LLM 호출은 문장이 아닌 레이블을 반환합니다 — 경로, 점수, 예/아니오, 범주. 이러한 호출은 사용하지도 않는 autoregressive 생성 비용을 지불하고 있습니다. 이 감사는 그러한 호출을 찾아내고 전환 비용을 산정합니다.
결과물: 측정된 차이를 포함한 후보 순위표. OneWave 엔진으로 판매 가능; marketing-brain과 동일한 형태 — 클라이언트당 반복 실행 가능한 감사.
1. 후보 찾기
LLM 호출을 검색한 다음, 출력이 레이블인 것으로 필터링합니다:
grep -rnE "messages\.create|chat\.completions|generateText|\.invoke\(|anthropic\.|openai\." \
--include=*.{ts,tsx,js,py} . | grep -v node_modules
다음 모든 조건을 만족하면 해당 호출은 후보입니다:
- 프롬프트가 알려진 유한한 답변 집합(≤255개) 중 하나를 요구함
- 호출자가 응답을 파싱함 — JSON.parse, 정규식, enum 조회,
.trim() - 다운스트림에서 모델의 추론 과정을 사람에게 보여주지 않음
- 자주 실행되거나, 사용자가 이를 기다림
프롬프트 텍스트에서 강한 신호: "respond with only", "return JSON", "classify", "choose one of", "rate from 1 to", "answer yes or no", "do not explain".
제외 조건: 출력이 사용자에게 표시됨, 콘텐츠로 사용됨, 인용이나 설명이 필요함, 또는 답변 집합이 개방형임.
2. 현재 비용 측정
추정하지 마세요. 계측하세요:
- 일일 호출 수 — 로그나 카운터로부터, 추측이 아닌 실제 데이터
- p50 및 p95 지연 시간 — p95가 사용자가 체감하는 값입니다
- 호출당 토큰 입력/출력 → 공급자 가격표 기준 현재 1,000회 호출당 가격
- 차단되는 항목 — 사용자, 페이지 렌더링, 에이전트의 다음 단계
3. 전환 비용 산정
해당 호출의 실제 트래픽에서 가져온 레이블 집합으로 벤치마킹하세요 (jev-eval 참조). 공급업체 벤치마크로 추정하지 마세요.
참고 수치, 실제 레코드 기준, 레코드당 4개 질문:
| 지연 시간 | 1,000회당 비용 | 정확도 | |
|---|---|---|---|
| Jev 호스티드 | 399 ms | $0.023 | 15개 레코드 집합에서 Claude와 일치 |
| Von 로컬 | 174 ms | $0.00 | 잘 작성된 기준에서만 일치 |
| Claude Haiku 4.5 | 2,322 ms | ~$0.55 | 기준(baseline) |
Jev 가격: $0.042/MTok 입력, 출력 무료.
4. 순위는 용이성이 아닌 효과로
각 후보를 다음 기준으로 순위를 매깁니다:
- 볼륨 × 단위 절감 — 실제 금액
- 사람이 기다리고 있는가 — 사용자 대면 경로에서는 비용 절감보다 지연 시간 개선이 더 가치 있음
- 틀렸을 때의 영향 범위 — 잘못 라우팅된 지원 티켓은 저렴하지만, 잘못 점수 매겨진 트랜잭션은 그렇지 않음
- 레이블 집합에 대한 정확도 차이 — 동등성 이하는 신뢰도 게이트(confidence gate)가 필요하며, 게이트 자체에도 비용이 듦
볼륨이 낮은 것은 제외하세요. 하루 몇 백 건 호출에서는 절감액이 거의 없고 공급업체만 추가됩니다.
5. 보고서 작성
후보별: 파일과 라인, 결정 내용, 일일 호출 수, 현재 지연 시간 및 비용, 예상 지연 시간 및 비용, 측정된 정확도 차이, 권장 게이트, 그리고 승인/거부 및 그 이유.
요약에는 총 예상 월별 절감액과 가장 큰 단일 지연 시간 개선을 먼저 제시하세요.
항상 한계점을 포함하세요: 평가 집합 크기, Jev는 SLA가 없는 얼리 액세스 상태이며, 기존 호출에 대한 폴백(fallback)이 유지되어야 한다는 점.
OneWave 스택에서의 적용 위치
- Sage 위젯 라우팅 — 구축하세요. 방문자가 보고 있습니다. 400ms 대 2.3초는 완전히 다른 경험입니다.
- RB2B 방문자 홍수 — 구축하세요. 볼륨이 있는 유일한 스트림으로 24배 저렴한 비용이 복리 효과를 냅니다.
- 리드 인입 분류 — 먼저 측정하세요. 정확하지만, 하루에 몇 건의 리드에 불과합니다.
- 리드 감시 — 그대로 두세요. 야간 크론 작업이며, 아무것도 기다리지 않습니다.
관련 스킬
jev-eval은 이 감사가 의존하는 정확도 수치를 제공합니다. jev-integrate는 승인된 항목을 실제로 연결하는 워크플로우입니다.