System One 모델을 기능에 연결하기
System One 모델은 단일 순방향 패스에서 타입이 지정된 질문에 답변합니다. 텍스트를 생성하지 않습니다. 상태 입력, 보정된 확률을 가진 타입 지정 답변 출력입니다. 읽을 수 있는 if-문과 같습니다.
결정이 좁고, 미리 지정되었으며, 반복적일 때 사용하십시오. 서면 설명이 필요한 모든 것에는 사용하지 마십시오. 그것은 여전히 Claude의 역할입니다.
그 전에: 이것이 실제로 적절한 도구인가
다음 세 가지 질문에 답하십시오. 하나라도 "아니오"라면 중단하고 LLM 호출을 유지하십시오.
- 가능한 답변을 미리 알고 있습니까? 선택지는 최대 255개입니다.
- 호출자가 레이블만 필요로 합니까? (추론이 아닌) 다운스트림에서 사람이 설명을 읽어야 한다면 프롤즈가 필요하므로 이 도구는 적절하지 않습니다.
- 높은 볼륨입니까, 아니면 사람이 기다리고 있습니까? 이는 지연 시간 및 비용 최적화이지 기능 향상이 아닙니다. Claude가 모르는 것을 알지 못합니다. 50개 레코드에 대한 야간 cron 작업에서는 종속성만 추가하고 아무것도 얻지 못합니다.
세 가지 작업에 걸쳐 150개의 수동 레이블링된 레코드에서 측정(2026년 9월 20일 실행): Jev는 GPT-5.2와 동률로 145/150이며 비용은 46배 저렴합니다($0.036 대 $1.64 per 1k 레코드). 하지만 종단 간에는 GPT-4.1-mini보다 1.7배 빠를 뿐입니다. 게시된 40x-200x는 단일 호출이 아닌 3-329초의 다단계 프론티어 워크플로에 대한 것입니다.
오픈 재현 모델은 드롭인 대체가 아닙니다. 동일 실행: Von 1.0.1 (395M) 92/150 (61%),
Laya (421M) 62/150 (41%). 저하되지 않고 하나의 클래스로 붕괴됩니다. Von은
50개 명령어 세트에 대해 25번 exfiltration을 예측했습니다. 신뢰도 게이트로는
구제할 수 없습니다: Von의 오류를 잡으려면 볼륨의 92%를 에스컬레이션해야 했고, Laya는 100%,
Jev는 8%였습니다. 자체 레이블링된 데이터 세트에서 측정한 경우에만 사용하십시오.
세 가지 질문 유형
"lead_type": {"type":"choice", "instructions": "...", "criteria": {"opt_a":"desc","opt_b":"desc"}}
"is_urgent": {"type":"noul", "instructions": "..."} # -> 0.0–1.0
"priority": {"type":"score", "instructions": "...", "criteria":["ignore","low","high"]}
필요한 모든 질문을 한 번의 호출로 물으십시오. 모두 동일한 순방향 패스에서 해결되므로 네 개의 질문 비용은 대략 하나의 비용과 같습니다.
응답 형태 (Jev와 Von 모두):
r["answers"]["lead_type"]["choice"] # 레이블
r["answers"]["lead_type"]["probabilities"] # 전체 분포
r["answers"]["lead_type"]["confidence"] # 게이팅에 사용
r["answers"]["is_urgent"]["noul"] # 0.0–1.0
r["answers"]["priority"]["score"] # 척도상의 위치, 예: 2.41
워크플로
1. 레이블링된 세트를 먼저 구축하십시오 — 최소 50개 레코드
절대적 필수 사항이며, 가장 가치 있는 단일 단계입니다. 기준을 작성하기 전에 대상 스트림의
실제 레코드를 수동으로 레이블링하십시오. 이것 없이는 나쁜 질문과 나쁜 모델을 구분할 수 없으며,
실패는 조용히 발생합니다. jev-eval 참조.
2. 신입 사원에게 설명하듯 기준을 작성하십시오
동일한 질문에 대한 네 가지 표현 방식 중 최악-최고 차이, 작업당 50개 레코드 (2026년 9월 20일 실행):
| 작업 | Jev | Von (395M) | Laya (421M) |
|---|---|---|---|
| 에이전트 명령어 위험 | 44-49 (10점) | 9-23 (28점) | 18-28 (20점) |
| 리드 분류 | 47-49 (4점) | 22-34 (24점) | 15-24 (18점) |
| 티켓 라우팅 | 41-47 (12점) | 23-41 (36점) | 22-36 (28점) |
LLM을 포함한 동일 명령어 작업 스윕: Haiku 4.5 46-48 (4점), GPT-4.1-mini 45-50 (10점), Jev 44-49 (10점), GPT-5-mini 41-49 (16점).
Jev는 작은 LLM보다 표현에 덜 민감하지 않습니다. 동일한 10점 범위에서 움직이며, 테스트에서 가장 안정적인 모델은 Haiku였습니다. 범위가 아닌 바닥값을 읽으십시오: 모든 호스팅 모델은 82-92%에서 바닥을 치고 출시 가능한 상태를 유지하는 반면, Von은 18%, Laya는 36%에서 바닥을 칩니다. 이것을 "더 나은 기준을 작성하면 오픈 모델이 따라잡는다"로 읽지 마십시오. 이전의 15개 레코드 테스트는 정확히 그렇게 결론을 내렸지만 틀렸습니다. 더 풍부한 기준이 안정적으로 도움이 되지 않았습니다: 리드 분류에서 Von은 간결한 표현에서 34/50을 기록했지만 신중하게 작성된 표현에서는 28/50을 기록했습니다. 숫자를 움직이는 것은 이해력이 아닌 표면 형태에 대한 민감도이므로, 모든 향후 기준 편집은 공지되지 않은 회귀 위험입니다.
각 옵션을 다음과 같이 작성하십시오: 그것이 무엇인지, 무엇이 아닌지, 그리고 잘못된 답변을 유혹하는 에지 케이스. 하나의 옵션이 지배적이어야 할 때 기본값을 명시적으로 지정하십시오.
3. 레이블링된 세트에 대해 임계값을 보정하십시오 — 0.5를 가정하지 마십시오
noul은 확률이지 부울이 아닙니다. Jev의 noul에는 바닥값이 있습니다: 명백히 깨끗한 레코드에서도 Claude가 0.0을 반환한 반면 0.2–0.5를 반환했습니다. 측정된 데이터에서 유용한 컷은 ~0.85였으며 0.5가 아니었습니다. 임계값은 모델 간에 전이되지 않습니다. 모델을 전환할 때 다시 스윕하십시오.
스윕을 수동으로 작성하지 마십시오. jev-eval이 보정을 담당하며 도구를 제공합니다:
python ~/.claude/skills/jev-eval/scripts/sweep.py labelled.json configs.json \
--backend jev --question <name>
4. 신뢰도 게이트 설계
낮은 신뢰도의 답변을 Claude로 게이트하십시오. 동일한 스크립트가 두 가지 중요한 측정값을
보고합니다. 게이트가 포착하는 오류의 비율과 에스컬레이션하는 볼륨의 비율이며,
결과에 레이블을 지정합니다. 모든 오류를 포착하면서 트래픽의 73%를 에스컬레이션하는 게이트는
saves nothing으로 점수가 매겨집니다. 추가 단계가 있는 느린 경로이기 때문입니다. 이를
보게 된다면 해결책은 더 나은 기준이나 호스팅된 모델이지 다른 임계값이 아닙니다.
a = r["answers"]["lead_type"]
if a["confidence"] < GATE:
return escalate_to_claude(state) # 느린 경로
return a["choice"] # 빠른 경로
5. 플래그 뒤에 배포하고, 일주일 동안 두 경로 모두 로깅
System One 답변 과 이전 경로가 말했을 내용을 모두 로깅하십시오. 전환하기 전에 실제 트래픽에서 비교하십시오. 평가 세트 숫자만으로 전환하지 마십시오.
접근 경로
# 1. TypeSafe 직접 — macOS 키체인에 키, 서비스 `typesafe-api-key`
export TYPESAFE_API_KEY="$(security find-generic-password -s typesafe-api-key -w)"
curl -X POST https://api.typesafe.ai/v1/systemone \
-H "Authorization: Bearer $TYPESAFE_API_KEY" -H "Content-Type: application/json" \
-d '{"model":"jev-latest","state":"...","questions":{...}}'
// 2. Cloudflare Workers AI — 대기자 명단 없음
await env.AI.run('typesafe/jev', { state, questions })
# 3. Von — 로컬, 무료, Apache-2.0, 395M ModernBERT
# pip install von-sdk
import von
r = von.system_one(state="...", questions={"x": von.Noul(instructions="...")})
r.answers["x"].noul
함정
- Von의
Choice는choices=가 아닌criteria=를 사용합니다. 잘못 추측하면 Pydantic 오류. - Von은
.answers[k]를 반환하며.nouls[k]/.choices[k]가 아닙니다. LangChain 래퍼는 원시 SDK와 다릅니다. - Von의 34초 콜드 스타트는 가중치를 로드합니다. 부팅 시 워밍업하십시오. 지연 시간에 절대 측정하지 마십시오.
- noul을 0.5에서 임계값 처리하지 마십시오. 3단계 참조.
- Jev는 얼리 액세스, 단일 공급업체, SLA가 없습니다. Claude에 대한 폴백 없이 고객 facing 중요 경로에 배치하지 마십시오.
- 작은 평가 세트는 거짓말을 합니다. 두 호스팅 모델이 모두 100% 점수를 받은 15개 레코드는 거의 아무것도 증명하지 않습니다. 수백 개를 사용하십시오.
관련
jev-eval은 레이블링된 세트를 구축하고 실행합니다. jev-audit은 코드베이스에서 변환할 가치가
있는 기존 LLM 호출을 찾습니다.