Communitygithub.com

추론 비용 감사 (Inference-cost audit)

코드베이스에서 실제로는 분류 작업인데 LLM 호출로 처리되는 부분을 찾아내고, System One 모델로 전환했을 때의 비용 절감 계획을 제공합니다. AI 추론 비용이나 지연 시간을 줄여야 할 때, 성능 개선 작업을 할 때, 느린 에이전트 루프를 분석할 때, 또는 "여기에 Jev를 쓸 수 있을까?"라는 질문을 받았을 때 사용합니다. 측정된 지연 시간과 비용 차이를 포함한 후보 순위표를 생성합니다.

추론 비용 감사 (Inference-cost audit)란 무엇인가요?

이 스킬은 코드베이스에서 실제로는 분류(label) 작업인데 불필요하게 LLM 호출을 사용하는 부분을 감사(audit)합니다. 많은 LLM 호출이 문장 생성이 아닌 단순 라우팅, 점수 매기기, 예/아니오 분류를 위해 사용되며, 이는 사용하지도 않는 autoregressive 생성 비용을 지불하게 만듭니다. 이 스킬은 이러한 호출을 찾아서 더 저렴하고 빠른 System One 모델(예: Jev, Von)로 전환했을 때의 비용 및 성능 이점을 측정하고 순위를 매깁니다. Claude Code, Cursor, Codex 등 모든 터미널 기반 AI 에이전트에서 사용할 수 있으며, grep과 같은 표준 도구를 사용하여 코드베이스를 검색하고, 실제 트래픽 데이터를 기반으로 비용과 지연 시간을 측정한 후, 볼륨, 절감액, 정확도 영향 등을 고려하여 전환 우선순위를 제시합니다. 최종 결과물은 각 후보에 대한 파일 위치, 현재 비용, 예상 절감액, 정확도 차이, 권장 게이트 등을 포함한 순위표이며, 총 월별 절감액과 가장 큰 지연 시간 개선 사항을 강조합니다. 이 스킬은 jev-eval (정확도 측정) 및 jev-integrate (실제 전환 워크플로우)와 함께 사용됩니다.

지원 대상✓Claude Code✓Codex CLI~Cursor
npx skills add https://github.com/OneWave-AI/claude-skills/tree/HEAD/jev-audit

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

추론 비용 감사

대부분의 프로덕션 LLM 호출은 문장이 아닌 레이블을 반환합니다 — 경로, 점수, 예/아니오, 범주. 이러한 호출은 사용하지도 않는 autoregressive 생성 비용을 지불하고 있습니다. 이 감사는 그러한 호출을 찾아내고 전환 비용을 산정합니다.

결과물: 측정된 차이를 포함한 후보 순위표. OneWave 엔진으로 판매 가능; marketing-brain과 동일한 형태 — 클라이언트당 반복 실행 가능한 감사.

1. 후보 찾기

LLM 호출을 검색한 다음, 출력이 레이블인 것으로 필터링합니다:

grep -rnE "messages\.create|chat\.completions|generateText|\.invoke\(|anthropic\.|openai\." \
  --include=*.{ts,tsx,js,py} . | grep -v node_modules

다음 모든 조건을 만족하면 해당 호출은 후보입니다:

  • 프롬프트가 알려진 유한한 답변 집합(≤255개) 중 하나를 요구함
  • 호출자가 응답을 파싱함 — JSON.parse, 정규식, enum 조회, .trim()
  • 다운스트림에서 모델의 추론 과정을 사람에게 보여주지 않음
  • 자주 실행되거나, 사용자가 이를 기다림

프롬프트 텍스트에서 강한 신호: "respond with only", "return JSON", "classify", "choose one of", "rate from 1 to", "answer yes or no", "do not explain".

제외 조건: 출력이 사용자에게 표시됨, 콘텐츠로 사용됨, 인용이나 설명이 필요함, 또는 답변 집합이 개방형임.

2. 현재 비용 측정

추정하지 마세요. 계측하세요:

  • 일일 호출 수 — 로그나 카운터로부터, 추측이 아닌 실제 데이터
  • p50 및 p95 지연 시간 — p95가 사용자가 체감하는 값입니다
  • 호출당 토큰 입력/출력 → 공급자 가격표 기준 현재 1,000회 호출당 가격
  • 차단되는 항목 — 사용자, 페이지 렌더링, 에이전트의 다음 단계

3. 전환 비용 산정

해당 호출의 실제 트래픽에서 가져온 레이블 집합으로 벤치마킹하세요 (jev-eval 참조). 공급업체 벤치마크로 추정하지 마세요.

참고 수치, 실제 레코드 기준, 레코드당 4개 질문:

지연 시간1,000회당 비용정확도
Jev 호스티드399 ms$0.02315개 레코드 집합에서 Claude와 일치
Von 로컬174 ms$0.00잘 작성된 기준에서만 일치
Claude Haiku 4.52,322 ms~$0.55기준(baseline)

Jev 가격: $0.042/MTok 입력, 출력 무료.

4. 순위는 용이성이 아닌 효과로

각 후보를 다음 기준으로 순위를 매깁니다:

  1. 볼륨 × 단위 절감 — 실제 금액
  2. 사람이 기다리고 있는가 — 사용자 대면 경로에서는 비용 절감보다 지연 시간 개선이 더 가치 있음
  3. 틀렸을 때의 영향 범위 — 잘못 라우팅된 지원 티켓은 저렴하지만, 잘못 점수 매겨진 트랜잭션은 그렇지 않음
  4. 레이블 집합에 대한 정확도 차이 — 동등성 이하는 신뢰도 게이트(confidence gate)가 필요하며, 게이트 자체에도 비용이 듦

볼륨이 낮은 것은 제외하세요. 하루 몇 백 건 호출에서는 절감액이 거의 없고 공급업체만 추가됩니다.

5. 보고서 작성

후보별: 파일과 라인, 결정 내용, 일일 호출 수, 현재 지연 시간 및 비용, 예상 지연 시간 및 비용, 측정된 정확도 차이, 권장 게이트, 그리고 승인/거부 및 그 이유.

요약에는 총 예상 월별 절감액과 가장 큰 단일 지연 시간 개선을 먼저 제시하세요.

항상 한계점을 포함하세요: 평가 집합 크기, Jev는 SLA가 없는 얼리 액세스 상태이며, 기존 호출에 대한 폴백(fallback)이 유지되어야 한다는 점.

OneWave 스택에서의 적용 위치

  • Sage 위젯 라우팅 — 구축하세요. 방문자가 보고 있습니다. 400ms 대 2.3초는 완전히 다른 경험입니다.
  • RB2B 방문자 홍수 — 구축하세요. 볼륨이 있는 유일한 스트림으로 24배 저렴한 비용이 복리 효과를 냅니다.
  • 리드 인입 분류 — 먼저 측정하세요. 정확하지만, 하루에 몇 건의 리드에 불과합니다.
  • 리드 감시 — 그대로 두세요. 야간 크론 작업이며, 아무것도 기다리지 않습니다.

관련 스킬

jev-eval은 이 감사가 의존하는 정확도 수치를 제공합니다. jev-integrate는 승인된 항목을 실제로 연결하는 워크플로우입니다.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

OneWave-AI/claude-skills

Deploy a 2-layer parallel agent hierarchy for large, parallelizable work — big refactors, multi-file migrations, codebase-wide audits, bulk generation. A top-tier commander (Fable or Opus) orchestrates the swarms; the user picks a power level (Max Power / Heavy / Balanced / Economy) that sets the Opus/Sonnet/Haiku model mix per layer. Layer 1 is 3-50+ specialist agents, each with its own full context window; Layer 2 is 2+ sub-agents per member. Includes git safety, tiered sizing, a pre-deploy gate, phantom-completion checks, and multi-wave follow-up.

OneWave-AI/claude-skills

Generate animated videos and motion graphics from natural language descriptions. Creates a standalone Vite + React project with Framer Motion scenes that auto-play in the browser. Use when the user wants to create animations, motion graphics, video intros, animated presentations, or product demos.

OneWave-AI/claude-skills

Use before starting a product, feature, MVP, agent, automation, or integration build to identify the main pre-build risk and choose the smallest validation step. Trigger when the user asks whether to build, scope, validate, prioritize, or sanity-check an idea before implementation.

OneWave-AI/claude-skills

Post-mortem analysis when a client churns. Takes client history, engagement data, support tickets, usage logs, and exit feedback to produce a comprehensive churn autopsy with root cause classification, timeline of decline, and preventive measures.

OneWave-AI/claude-skills

Compose a premium, animated landing page section by section in Next.js + Tailwind + Motion (Framer Motion) — built on a real design system, with editorial copy and motion that feels human-crafted, not template-generated. Use when building or rebuilding a landing page, marketing site, or hero/feature/pricing/CTA sections that need to look production-ready and bespoke from day one.

OneWave-AI/claude-skills

Assemble 2-3 complementary experts to collaboratively analyze anything. Experts work together to explore topics from multiple expert angles.

OneWave-AI/claude-skills

Convert any topic into playable browser games. Types: trivia, matching, word puzzles, adventure games. Uses Phaser.js or Kaboom.js.

OneWave-AI/claude-skills

Turn a marketing brief or product offer into a finished short-form video ad built in HyperFrames — hook, script, shot-by-shot storyboard, scene-by-scene HTML composition, captions, and voiceover. Outputs platform cuts (vertical 9:16, square, 16:9). Use when you need a launch ad, product promo, social video, or paid-creative concept ready to render.

OneWave-AI/claude-skills

Turn a website URL, product docs, or a founder's rambling description into a tight 60-90 second explainer video built in HyperFrames -- problem/solution narrative, animated product walkthrough scenes, captions, and voiceover, ready for the homepage hero, sales emails, and onboarding.

OneWave-AI/claude-skills

Build promo videos for local businesses in HyperFrames -- the new-menu drop, the seasonal offer, the event announcement, the "we're hiring" post, the Google Business Profile clip. Restaurant, salon, gym, trades: 15-30 seconds, brand-clean, captioned, sized for Instagram, Facebook, and the profile.

OneWave-AI/claude-skills

Build a personalized product-demo or sales-walkthrough video in HyperFrames for a specific prospect or account — narrated screen-by-screen, branded to them, ending in a clear next step. Turns a generic demo into a "this was made for me" asset for outbound, follow-up, or deal acceleration. Use when you want to send a tailored video instead of booking another live call.

OneWave-AI/claude-skills

Turn real customer reviews, quotes, and case-study results into polished social-proof videos built in HyperFrames -- single-testimonial spotlights, review-wall montages, and stat-driven proof reels with captions and voiceover, cut for vertical, square, and wide. The highest-converting content most businesses never make.

OneWave-AI/claude-skills

Build and run a labelled eval set for a System One model (Jev, Von, or any typed-decision config), then sweep criteria wordings and thresholds against it. Use when a Jev/Von classification is wrong or unreliable, when choosing between the hosted API and a local open model, when tuning noul thresholds, or before shipping any typed-decision feature. Produces an accuracy-by-wording matrix and a calibrated threshold.

OneWave-AI/claude-skills

Wire a System One model (Jev, or an open reproduction like Von) into a product feature — routing, guardrails, scoring, classification. Use when replacing an LLM call that returns a label rather than prose, when adding a typed decision to an agent loop, or when deciding between the hosted Jev API and a local open model. Covers question design, the eval-set-first workflow, threshold calibration, confidence gates, and the traps measured on real data.

OneWave-AI/claude-skills

Optimize landing pages for conversions, performance, and SEO. Use when improving landing pages, increasing conversions, or optimizing page performance.

OneWave-AI/claude-skills

TAM/SAM/SOM calculator with deep market research. Produces comprehensive market-sizing.md with top-down and bottom-up estimates, methodology, data sources, assumptions, sensitivity ranges, growth projections, competitive landscape, and Mermaid visualizations. Use when user needs market size estimates, addressable market analysis, go-to-market sizing, investor-ready market analysis, or business plan market validation.

OneWave-AI/claude-skills

Generate unique personalized first lines for hundreds of prospects using company news, LinkedIn activity, and mutual connections. Saves 10+ hours of manual research per campaign. Use when you need personalized outreach at volume.

OneWave-AI/claude-skills

Review investment portfolios for risk, diversification, fees. Asset allocation recommendations, tax-loss harvesting, rebalancing.

OneWave-AI/claude-skills

Create multiple choice, true/false, fill-in-blank, matching quizzes. Auto-generate plausible distractors. Instant grading with explanations.

OneWave-AI/claude-skills

Enhanced skill navigator that maps conversation history, recommends multi-skill chains, identifies patterns from past usage, and learns from session outcomes. Goes beyond basic scout with deep context analysis and workflow orchestration.

관련 스킬