Communitygithub.com

OneWave-AI/claude-skills (타입 기반 결정 구성 평가)

System One 모델(Jev, Von 또는 모든 타입 기반 결정 구성)에 대한 레이블링된 평가 세트를 구축하고 실행한 다음, 기준 문구와 임계값을 반복 탐색(sweep)합니다. Jev/Von 분류가 틀리거나 신뢰할 수 없을 때, 호스팅 API와 로컬 오픈 모델 사이에서 선택할 때, noul 임계값을 조정할 때, 또는 타입 기반 결정 기능을 배포하기 전에 사용하세요. 문구별 정확도 매트릭스와 보정된 임계값을 생성합니다.

claude-skills (타입 기반 결정 구성 평가)란 무엇인가요?

이 스킬은 Jev, Von 또는 모든 타입 기반 결정 구성에 대한 레이블링된 평가 세트를 구축하고 반복 탐색(sweep)하는 프로세스를 자동화합니다. System One 모델의 정확도는 질문이 어떻게 작성되었는지에 크게 좌우되지만, 실패는 조용히 발생합니다(자신 있고 타입에 맞지만 틀린 답변). 레이블이 없으면 잘못된 질문과 잘못된 모델을 구분할 수 없습니다. 이 스킬은 최소 50개(배포 전 200개 이상)의 실제 레코드로 평가 세트를 구축하고, 여러 기준 구성(간결한 한 줄, 풍부한 예시, 명시적 제외 등)을 실행하여 문구 견고성을 측정하며, 모든 noul의 임계값을 탐색하고, 신뢰도 게이트를 정직하게 평가합니다. 15개 레코드로 측정했을 때 문구 변경만으로 오픈 모델의 정확도가 4/15에서 14/15로 향상되었지만, 150개 레코드에서는 동일한 모델이 61%에 그쳐 Jev의 97%에 크게 미치지 못했습니다. 이는 작은 세트가 결과를 왜곡할 수 있음을 보여줍니다. 이 스킬은 문구당/모델당 정확도, ROBUST 또는 FRAGILE로 표시된 분포, 보정된 noul 임계값, 그리고 신뢰도 게이트가 포착한 오류 수와 에스컬레이션된 볼륨 비율을 모두 포함하는 보고서를 생성하여, 유용한 정확도 없이 좋은 보정만으로는 아무것도 해결되지 않는다는 점을 강조합니다.

지원 대상✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/OneWave-AI/claude-skills/tree/HEAD/jev-eval

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

타입 기반 결정 구성 평가하기

평가 세트가 곧 제품입니다. System One 모델의 정확도는 질문이 어떻게 작성되었는지에 의해 크게 좌우되며, 실패 모드는 조용합니다. 즉, 자신감 있고 타입에 맞지만 틀린 답변을 반환합니다. 레이블이 없으면 잘못된 질문과 잘못된 모델을 구분할 수 없습니다.

측정 결과: 기준 문구를 다시 작성하여 오픈 모델을 15개 레코드에서 4/15에서 14/15로 향상시켰습니다. 모델 변경은 없었습니다. 그런 다음 150개 레코드에서 동일한 비교를 수행했을 때 해당 모델은 Jev의 97% 에 비해 전체 61% 를 기록했습니다. 15개 레코드 결과는 작고 쉬운 세트의 인공물이었습니다. 두 사실 모두 핵심을 말해줍니다: 문구가 결과를 크게 좌우하며, 작은 세트는 어떤 방향이 올바른지에 대해 거짓말을 합니다.

실행하기

python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
    --backend jev|von --question <name>

labelled.json은 [{"id","state","truth"}] 형식입니다. configs.json은 구성 이름을 {"instructions", "criteria"}에 매핑합니다. 옵션의 딕셔너리는 choice를 만들고, 레벨 목록은 score를 만들며, 생략하면 noul을 만듭니다. 스크립트는 Keychain(typesafe-api-key)에서 Jev 키를 읽고, 구성별 정확도를 출력하며, 분포를 ROBUST 또는 FRAGILE로 표시하고, noul에 대한 임계값을 탐색하며, 신뢰도 게이트를 평가합니다.

실제 출력, 50개의 에이전트 셸 명령 위험 레코드, 백엔드만 변경됨:

config                         accuracy   ms/rec
A terse one-liners               45/50       410      <- Jev
B rich criteria                  49/50       415
C rich + exclusions              46/50       418
D deliberately lazy              44/50       411
spread: 44/50 to 49/50   (ROBUST - wording is not load-bearing)

A terse one-liners                9/50        66      <- Von, same configs
B rich criteria                  23/50       121
C rich + exclusions              15/50       129
D deliberately lazy              22/50        53
spread: 9/50 to 23/50    (FRAGILE - and the ceiling is still not usable)

분포보다 먼저 천장(ceiling)을 읽으십시오. FRAGILE 모델의 최상의 구성이 23/50이라면 문구 문제가 아니라 해당 질문에 잘못된 모델을 선택한 것입니다.

1. 세트 구축하기

최소 50개 레코드, 배포 전 200개 이상. 합성 데이터가 아닌 실제 스트림에서 가져오십시오.

  • 깔끔한 예제와 극적인 엣지 케이스뿐만 아니라 지루한 중간(boring middle) 을 포함하십시오.
  • 손상되었거나 누락된 메타데이터가 있는 레코드를 포함하십시오. 분류기가 실패하는 지점입니다.
  • 모델을 실행하기 전에 레코드를 읽어 레이블을 지정하십시오. 모델 출력에서 레이블을 지정하지 마십시오.
  • 원시 레코드와 truth 필드를 포함하는 JSON으로 저장하십시오.
[{"id":"D-1994","state":"...full record text...","truth":"inbound_prospect"}]

스스로 레코드에 자신 있게 레이블을 지정할 수 없다면 모델도 할 수 없습니다. 해당 레코드를 삭제하거나 답변이 결정적이도록 질문을 수정하십시오.

2. 모델뿐만 아니라 문구도 탐색하기

핵심 동작입니다. 진정으로 다른 3-4개의 기준 구성을 작성하고 모두 실행하십시오:

  • A — 옵션당 한 줄로 간결하게 (모든 사람이 처음 작성하는 것)
  • B — 옵션당 3-4문장으로 구체적인 예제 포함
  • C — B에 명시적 기본값과 명시적 제외 사항 추가 ("다음 경우에만")
  • D — 의도적으로 게으르게, 4-5단어로, 최저 기준 테스트용

모델당 구성별 정확도를 보고하십시오:

config                    JEV       VON      LAYA     (lead triage, n=50)
A terse one-liners      47/50     34/50     21/50
B rich criteria         49/50     28/50     15/50
C rich + exclusions     48/50     24/50     19/50
D deliberately lazy     48/50     22/50     24/50

먼저 최저점(floor)을 읽고, 그다음 분포(spread)를 읽으십시오. 최저점은 "내가 나쁘게 표현해도 이 모델이 작업을 전혀 수행할 수 있는가"이고, 분포는 "유지 관리 비용이 얼마나 들 것인가"입니다. 명령 작업에서 측정했을 때, 모든 호스팅 모델의 최저점은 82-92% (Haiku 46-48, GPT-4.1-mini 45-50, Jev 44-49, GPT-5-mini 41-49)인 반면, Von의 최저점은 9/50, Laya의 최저점은 18/50입니다. Jev가 작은 LLM보다 문구에 더 강건한 것은 아닙니다 — 동일한 10포인트 범위 내에서 변동합니다. 당신이 사는 것은 면역이 아니라 최저점입니다.

리드 컬럼이 보여주지 않는 점에 주목하십시오: 깔끔한 "더 풍부할수록 더 좋다"는 기울기가 아닙니다. 여기서 Von의 최상의 구성은 간결한 한 줄입니다. 오픈 모델의 숫자를 움직이는 것은 이해력이 아니라 표면 형태에 대한 민감도이므로, 다음 기준 재작성이 반드시 개선을 가져온다고 가정하지 마십시오. 세트를 다시 실행하십시오.

3. 모든 noul에 대한 임계값 탐색하기

절대 0.5를 배포하지 마십시오. 탐색하고 곡선을 읽으십시오:

for t in [0.5,0.6,0.7,0.75,0.8,0.85,0.9,0.95]:
    tp = sum(p>=t and y     for p,y in z); fp = sum(p>=t and not y for p,y in z)
    fn = sum(p< t and y     for p,y in z); tn = sum(p< t and not y for p,y in z)
    print(f"{t}  P={tp/max(tp+fp,1):.2f}  R={tp/max(tp+fn,1):.2f}  acc={(tp+tn)/len(z):.2f}")

모델마다 최저점(floor) 이 다릅니다. Jev의 noul은 명백히 깨끗한 레코드에서 0.2–0.5 사이에 머물렀고, Claude는 0.0으로 떨어졌습니다. 따라서 실제 컷오프는 ~0.85였습니다. 한 모델에 맞춰진 임계값은 다른 모델로 전이되지 않습니다. 모델을 전환할 때 다시 탐색하십시오.

4. 신뢰도 게이트 정직하게 평가하기

항상 두 숫자를 함께 사용하십시오:

errs   = [r for r in rows if r.pred != r.truth]
rights = [r for r in rows if r.pred == r.truth]
for g in [0.5,0.7,0.9]:
    caught    = sum(r.conf <  g for r in errs)      # 게이트가 에스컬레이션하는 오류
    escalated = sum(r.conf <  g for r in rows)      # 에스컬레이션된 총 볼륨
    print(f"gate {g}: catches {caught}/{len(errs)} errors, escalates {escalated/len(rows):.0%} of volume")

11개 오류 중 10개를 포착하면서도 볼륨의 93%를 에스컬레이션하는 게이트는 작동하는 게이트가 아닙니다. 추가 단계가 있는 느린 경로일 뿐입니다. 좋은 정확도 없는 좋은 보정은 아무것도 사지 않습니다.

5. 보고하기

  • 구성별/모델별 정확도, 분포 명시
  • 각 noul에 대해 선택된 임계값과 이를 정당화한 탐색 결과
  • 게이트: 포착된 오류 및 에스컬레이션된 볼륨
  • 프로덕션 볼륨 1k당 예상 지연 시간 및 비용
  • 평가 세트 크기와 그것이 다루지 않는 것에 대한 명시적 진술

작은 세트는 거짓말을 합니다. 두 모델이 모두 100%를 기록한 15개 레코드는 아무것도 구분하지 못합니다. 의미 있는 동점인 것처럼 암시하지 말고 그렇게 명시하십시오.

관련 항목

jev-integrate는 이 평가를 공급받는 워크플로우 연결(wiring) 과정입니다. jev-audit은 평가할 가치가 있는 후보를 찾습니다.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

OneWave-AI/claude-skills

Deploy a 2-layer parallel agent hierarchy for large, parallelizable work — big refactors, multi-file migrations, codebase-wide audits, bulk generation. A top-tier commander (Fable or Opus) orchestrates the swarms; the user picks a power level (Max Power / Heavy / Balanced / Economy) that sets the Opus/Sonnet/Haiku model mix per layer. Layer 1 is 3-50+ specialist agents, each with its own full context window; Layer 2 is 2+ sub-agents per member. Includes git safety, tiered sizing, a pre-deploy gate, phantom-completion checks, and multi-wave follow-up.

OneWave-AI/claude-skills

Generate animated videos and motion graphics from natural language descriptions. Creates a standalone Vite + React project with Framer Motion scenes that auto-play in the browser. Use when the user wants to create animations, motion graphics, video intros, animated presentations, or product demos.

OneWave-AI/claude-skills

Use before starting a product, feature, MVP, agent, automation, or integration build to identify the main pre-build risk and choose the smallest validation step. Trigger when the user asks whether to build, scope, validate, prioritize, or sanity-check an idea before implementation.

OneWave-AI/claude-skills

Post-mortem analysis when a client churns. Takes client history, engagement data, support tickets, usage logs, and exit feedback to produce a comprehensive churn autopsy with root cause classification, timeline of decline, and preventive measures.

OneWave-AI/claude-skills

Compose a premium, animated landing page section by section in Next.js + Tailwind + Motion (Framer Motion) — built on a real design system, with editorial copy and motion that feels human-crafted, not template-generated. Use when building or rebuilding a landing page, marketing site, or hero/feature/pricing/CTA sections that need to look production-ready and bespoke from day one.

OneWave-AI/claude-skills

Assemble 2-3 complementary experts to collaboratively analyze anything. Experts work together to explore topics from multiple expert angles.

OneWave-AI/claude-skills

Convert any topic into playable browser games. Types: trivia, matching, word puzzles, adventure games. Uses Phaser.js or Kaboom.js.

OneWave-AI/claude-skills

Turn a marketing brief or product offer into a finished short-form video ad built in HyperFrames — hook, script, shot-by-shot storyboard, scene-by-scene HTML composition, captions, and voiceover. Outputs platform cuts (vertical 9:16, square, 16:9). Use when you need a launch ad, product promo, social video, or paid-creative concept ready to render.

OneWave-AI/claude-skills

Turn a website URL, product docs, or a founder's rambling description into a tight 60-90 second explainer video built in HyperFrames -- problem/solution narrative, animated product walkthrough scenes, captions, and voiceover, ready for the homepage hero, sales emails, and onboarding.

OneWave-AI/claude-skills

Build promo videos for local businesses in HyperFrames -- the new-menu drop, the seasonal offer, the event announcement, the "we're hiring" post, the Google Business Profile clip. Restaurant, salon, gym, trades: 15-30 seconds, brand-clean, captioned, sized for Instagram, Facebook, and the profile.

OneWave-AI/claude-skills

Build a personalized product-demo or sales-walkthrough video in HyperFrames for a specific prospect or account — narrated screen-by-screen, branded to them, ending in a clear next step. Turns a generic demo into a "this was made for me" asset for outbound, follow-up, or deal acceleration. Use when you want to send a tailored video instead of booking another live call.

OneWave-AI/claude-skills

Turn real customer reviews, quotes, and case-study results into polished social-proof videos built in HyperFrames -- single-testimonial spotlights, review-wall montages, and stat-driven proof reels with captions and voiceover, cut for vertical, square, and wide. The highest-converting content most businesses never make.

OneWave-AI/claude-skills

Audit a codebase for LLM calls that are really classifications in disguise, then produce a costed swap plan for a System One model. Use when asked to cut AI inference cost or latency, when scoping a performance engagement for a client, when reviewing an agent loop that feels slow, or when asked "where could we use Jev here". Produces a ranked table of candidates with measured latency and dollar deltas.

OneWave-AI/claude-skills

Wire a System One model (Jev, or an open reproduction like Von) into a product feature — routing, guardrails, scoring, classification. Use when replacing an LLM call that returns a label rather than prose, when adding a typed decision to an agent loop, or when deciding between the hosted Jev API and a local open model. Covers question design, the eval-set-first workflow, threshold calibration, confidence gates, and the traps measured on real data.

OneWave-AI/claude-skills

Optimize landing pages for conversions, performance, and SEO. Use when improving landing pages, increasing conversions, or optimizing page performance.

OneWave-AI/claude-skills

TAM/SAM/SOM calculator with deep market research. Produces comprehensive market-sizing.md with top-down and bottom-up estimates, methodology, data sources, assumptions, sensitivity ranges, growth projections, competitive landscape, and Mermaid visualizations. Use when user needs market size estimates, addressable market analysis, go-to-market sizing, investor-ready market analysis, or business plan market validation.

OneWave-AI/claude-skills

Generate unique personalized first lines for hundreds of prospects using company news, LinkedIn activity, and mutual connections. Saves 10+ hours of manual research per campaign. Use when you need personalized outreach at volume.

OneWave-AI/claude-skills

Review investment portfolios for risk, diversification, fees. Asset allocation recommendations, tax-loss harvesting, rebalancing.

OneWave-AI/claude-skills

Create multiple choice, true/false, fill-in-blank, matching quizzes. Auto-generate plausible distractors. Instant grading with explanations.

OneWave-AI/claude-skills

Enhanced skill navigator that maps conversation history, recommends multi-skill chains, identifies patterns from past usage, and learns from session outcomes. Goes beyond basic scout with deep context analysis and workflow orchestration.

관련 스킬