타입 기반 결정 구성 평가하기
평가 세트가 곧 제품입니다. System One 모델의 정확도는 질문이 어떻게 작성되었는지에 의해 크게 좌우되며, 실패 모드는 조용합니다. 즉, 자신감 있고 타입에 맞지만 틀린 답변을 반환합니다. 레이블이 없으면 잘못된 질문과 잘못된 모델을 구분할 수 없습니다.
측정 결과: 기준 문구를 다시 작성하여 오픈 모델을 15개 레코드에서 4/15에서 14/15로 향상시켰습니다. 모델 변경은 없었습니다. 그런 다음 150개 레코드에서 동일한 비교를 수행했을 때 해당 모델은 Jev의 97% 에 비해 전체 61% 를 기록했습니다. 15개 레코드 결과는 작고 쉬운 세트의 인공물이었습니다. 두 사실 모두 핵심을 말해줍니다: 문구가 결과를 크게 좌우하며, 작은 세트는 어떤 방향이 올바른지에 대해 거짓말을 합니다.
실행하기
python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
--backend jev|von --question <name>
labelled.json은 [{"id","state","truth"}] 형식입니다. configs.json은 구성 이름을 {"instructions", "criteria"}에 매핑합니다. 옵션의 딕셔너리는 choice를 만들고, 레벨 목록은 score를 만들며, 생략하면 noul을 만듭니다. 스크립트는 Keychain(typesafe-api-key)에서 Jev 키를 읽고, 구성별 정확도를 출력하며, 분포를 ROBUST 또는 FRAGILE로 표시하고, noul에 대한 임계값을 탐색하며, 신뢰도 게이트를 평가합니다.
실제 출력, 50개의 에이전트 셸 명령 위험 레코드, 백엔드만 변경됨:
config accuracy ms/rec
A terse one-liners 45/50 410 <- Jev
B rich criteria 49/50 415
C rich + exclusions 46/50 418
D deliberately lazy 44/50 411
spread: 44/50 to 49/50 (ROBUST - wording is not load-bearing)
A terse one-liners 9/50 66 <- Von, same configs
B rich criteria 23/50 121
C rich + exclusions 15/50 129
D deliberately lazy 22/50 53
spread: 9/50 to 23/50 (FRAGILE - and the ceiling is still not usable)
분포보다 먼저 천장(ceiling)을 읽으십시오. FRAGILE 모델의 최상의 구성이 23/50이라면 문구 문제가 아니라 해당 질문에 잘못된 모델을 선택한 것입니다.
1. 세트 구축하기
최소 50개 레코드, 배포 전 200개 이상. 합성 데이터가 아닌 실제 스트림에서 가져오십시오.
- 깔끔한 예제와 극적인 엣지 케이스뿐만 아니라 지루한 중간(boring middle) 을 포함하십시오.
- 손상되었거나 누락된 메타데이터가 있는 레코드를 포함하십시오. 분류기가 실패하는 지점입니다.
- 모델을 실행하기 전에 레코드를 읽어 레이블을 지정하십시오. 모델 출력에서 레이블을 지정하지 마십시오.
- 원시 레코드와
truth필드를 포함하는 JSON으로 저장하십시오.
[{"id":"D-1994","state":"...full record text...","truth":"inbound_prospect"}]
스스로 레코드에 자신 있게 레이블을 지정할 수 없다면 모델도 할 수 없습니다. 해당 레코드를 삭제하거나 답변이 결정적이도록 질문을 수정하십시오.
2. 모델뿐만 아니라 문구도 탐색하기
핵심 동작입니다. 진정으로 다른 3-4개의 기준 구성을 작성하고 모두 실행하십시오:
- A — 옵션당 한 줄로 간결하게 (모든 사람이 처음 작성하는 것)
- B — 옵션당 3-4문장으로 구체적인 예제 포함
- C — B에 명시적 기본값과 명시적 제외 사항 추가 ("다음 경우에만")
- D — 의도적으로 게으르게, 4-5단어로, 최저 기준 테스트용
모델당 구성별 정확도를 보고하십시오:
config JEV VON LAYA (lead triage, n=50)
A terse one-liners 47/50 34/50 21/50
B rich criteria 49/50 28/50 15/50
C rich + exclusions 48/50 24/50 19/50
D deliberately lazy 48/50 22/50 24/50
먼저 최저점(floor)을 읽고, 그다음 분포(spread)를 읽으십시오. 최저점은 "내가 나쁘게 표현해도 이 모델이 작업을 전혀 수행할 수 있는가"이고, 분포는 "유지 관리 비용이 얼마나 들 것인가"입니다. 명령 작업에서 측정했을 때, 모든 호스팅 모델의 최저점은 82-92% (Haiku 46-48, GPT-4.1-mini 45-50, Jev 44-49, GPT-5-mini 41-49)인 반면, Von의 최저점은 9/50, Laya의 최저점은 18/50입니다. Jev가 작은 LLM보다 문구에 더 강건한 것은 아닙니다 — 동일한 10포인트 범위 내에서 변동합니다. 당신이 사는 것은 면역이 아니라 최저점입니다.
리드 컬럼이 보여주지 않는 점에 주목하십시오: 깔끔한 "더 풍부할수록 더 좋다"는 기울기가 아닙니다. 여기서 Von의 최상의 구성은 간결한 한 줄입니다. 오픈 모델의 숫자를 움직이는 것은 이해력이 아니라 표면 형태에 대한 민감도이므로, 다음 기준 재작성이 반드시 개선을 가져온다고 가정하지 마십시오. 세트를 다시 실행하십시오.
3. 모든 noul에 대한 임계값 탐색하기
절대 0.5를 배포하지 마십시오. 탐색하고 곡선을 읽으십시오:
for t in [0.5,0.6,0.7,0.75,0.8,0.85,0.9,0.95]:
tp = sum(p>=t and y for p,y in z); fp = sum(p>=t and not y for p,y in z)
fn = sum(p< t and y for p,y in z); tn = sum(p< t and not y for p,y in z)
print(f"{t} P={tp/max(tp+fp,1):.2f} R={tp/max(tp+fn,1):.2f} acc={(tp+tn)/len(z):.2f}")
모델마다 최저점(floor) 이 다릅니다. Jev의 noul은 명백히 깨끗한 레코드에서 0.2–0.5 사이에 머물렀고, Claude는 0.0으로 떨어졌습니다. 따라서 실제 컷오프는 ~0.85였습니다. 한 모델에 맞춰진 임계값은 다른 모델로 전이되지 않습니다. 모델을 전환할 때 다시 탐색하십시오.
4. 신뢰도 게이트 정직하게 평가하기
항상 두 숫자를 함께 사용하십시오:
errs = [r for r in rows if r.pred != r.truth]
rights = [r for r in rows if r.pred == r.truth]
for g in [0.5,0.7,0.9]:
caught = sum(r.conf < g for r in errs) # 게이트가 에스컬레이션하는 오류
escalated = sum(r.conf < g for r in rows) # 에스컬레이션된 총 볼륨
print(f"gate {g}: catches {caught}/{len(errs)} errors, escalates {escalated/len(rows):.0%} of volume")
11개 오류 중 10개를 포착하면서도 볼륨의 93%를 에스컬레이션하는 게이트는 작동하는 게이트가 아닙니다. 추가 단계가 있는 느린 경로일 뿐입니다. 좋은 정확도 없는 좋은 보정은 아무것도 사지 않습니다.
5. 보고하기
- 구성별/모델별 정확도, 분포 명시
- 각 noul에 대해 선택된 임계값과 이를 정당화한 탐색 결과
- 게이트: 포착된 오류 및 에스컬레이션된 볼륨
- 프로덕션 볼륨 1k당 예상 지연 시간 및 비용
- 평가 세트 크기와 그것이 다루지 않는 것에 대한 명시적 진술
작은 세트는 거짓말을 합니다. 두 모델이 모두 100%를 기록한 15개 레코드는 아무것도 구분하지 못합니다. 의미 있는 동점인 것처럼 암시하지 말고 그렇게 명시하십시오.
관련 항목
jev-integrate는 이 평가를 공급받는 워크플로우 연결(wiring) 과정입니다. jev-audit은 평가할 가치가 있는 후보를 찾습니다.