ModelSieve · 모델체
공급업체 중립적인 「모델 인텔리전스 / 전략 자문 계층」. 게이트웨이가 아닌 정보 집계 + 등급 추천 + 가독성 높은 프레젠테이션에 집중합니다.
언제 사용하나요 · When to use
- 사용자가 모델 선택 조언을 원하는 경우: "모델 추천해 줘", "코딩에 어떤 모델이 좋을까?", "가성비 좋은 모델은?", "비용 신경 쓰지 않고 최고의 모델은?"
- 사용자가 가로 비교를 원하는 경우: "Claude와 GPT 중 어떤 게 더 가치 있을까?", "이 가격대에 더 좋은 모델이 있을까?"
- 사용자가 가격/품질 정보를 원하는 경우: "지금 가장 저렴한 모델은?", "최근 출시된 모델 중 주목할 만한 것은?"
- 사용자가 추천을 워크플로우에 적용하려는 경우 (선택 사항):
adapters/를 통해 세 가지 등급을 Dify / LangGraph / n8n / otari에 다시 씁니다.
핵심 포지셔닝 · Positioning
- 백색 공간 : 정보 계층 + 다시 쓰기 어댑터. 게이트웨이/라우팅(OmniRoute, LiteLLM, otari)은 이미 레드오션이므로, 우리는 중복 개발하지 않습니다.
- 설명 가능하고 롤백 가능 : 각 추천에는 출처 링크와 한 줄 설명이 포함됩니다. 사용자는 "왜 이 모델을 선택했는지" 항상 알 수 있으며, 언제든지 변경할 수 있습니다.
- 권위 항상 표시 : 실시간 가격은 OpenRouter에서 가져오며(신뢰할 수 있음) 품질 점수는 Artificial Analysis / LMArena를 우선으로 사용하고, 그렇지 않은 경우 "휴리스틱/커뮤니티 신호, 권위 있는 벤치마크 아님"으로 명확히 표시합니다.
데이터 소스 매트릭스 · Source matrix
| 차원 | 권위 있는 소스 | 접근 방식 | 제공 내용 | 비고 |
|---|---|---|---|---|
| 실시간 가격 / 가용성 | OpenRouter /api/v1/models | 무료, 키 불필요; 본 저장소 radar/snapshot.py가 직접 가져옴 | 340개 이상 모델의 실제 $/1M, 컨텍스트, 모달리티 | 가장 신뢰할 수 있는 가격 신호 |
| 품질 지수 | Artificial Analysis Intelligence Index | 공식 웹사이트 순위 공개; API는 무료 키 필요 (AA_API_KEY) | 종합 지능 지수, 속도(tokens/s), 가격 | 본 저장소 radar/quality_aa.py가 이미 통합, 키 없을 시 휴리스틱 폴백 |
| 인간 선호도 | LMArena (구 Chatbot Arena) | 무료 API + 일일 JSON 스냅샷; arena-rank PyPI 재현 가능 | Elo 인간 선호도 점수 ("사용감"에 가장 가까움) | 작업별 순위 (텍스트/코드/멀티모달) |
| 오염 방지 능력 순위 | LiveBench (livebench.ai) | 공식 웹사이트; 월간 문제 갱신 | 수학/코드/추론, 벤치마크 게이밍 방지 | AA/LMArena와 상호 보완적 |
| 코드 특화 | SWE-bench Verified / Aider Polyglot | 공식 웹사이트 순위 | 에이전트 코딩 / 편집기형 코딩 | 코딩 모델 선택 시 이 두 가지 확인 |
| 커뮤니티 실측 | r/LocalLLaMA (Reddit) | WebSearch / WebFetch | 양자화 오류, 실제 기기 가용성, Apple Silicon 등 | 신호 대 잡음비가 가장 높은 포럼 |
| 신규 출시 추적 | Hugging Face Trending / Daily Papers / LLM Stats | WebSearch | 24시간 이내 신규 모델, 커뮤니티 반응 | 신규 출시 추적용 |
| 오픈소스 가중치 집계 | Vellum / Onyx open-weight leaderboard | 공식 웹사이트 | 오픈소스 가중치만의 가로 비교 | 자체 호스팅 관점 |
전체 접근 세부 사항은
references/sources.md(이중 언어)를 참조하세요.
워크플로우 · Workflow
1. 의도 분류 · Classify intent
best_quality/비용 무시→ 최고 품질 (AA Intelligence Index + LMArena Elo 둘 다 높음).best_value/가성비 최고→ 품질/가격 최적 (실시간 가격으로 가성비 지수 계산).cheapest/가장 저렴한 폴백→ 작업을 수행할 수 있는 가장 저렴한 모델.- 사용자가 작업 도메인(coding / reasoning / long-context / vision)을 지정하면 작업별 순위를 추가로 필터링합니다.
2. 실시간 데이터 가져오기 · Gather (필요 시, 실시간 우선)
- 가격/가용성: 직접 실행
python radar/snapshot.py(온라인으로 OpenRouter 가져오기; 또는--offline으로 캐시 사용). - 품질 점수: Artificial Analysis 우선 (키가 있으면
radar/quality_aa.py가 자동으로 실제 점수 사용); 그렇지 않으면 WebFetch로 LMArena / AA 순위 가져오기. - 커뮤니티/신규 출시: WebSearch "r/LocalLLaMA <모델>" 또는 "<모델> benchmark 2026".
- 구조화된 API를 사용할 수 있으면 웹 페이지 요약에만 의존하지 마세요. 여러 소스를 교차 검증하여 단일 업체의 자화자찬을 피하세요.
3. 순위 매기기 · Rank
- 품질 등급: AA Intelligence Index 내림차순 우선, LMArena Elo로 교차 검증.
- 가성비 등급:
가성비 지수 = 품질 점수 / 평균 가격, 상위권 선택. - 저가 등급: 실시간 $/1M 오름차순, 장난감 모델(컨텍스트<8K 또는 단종)은 제외.
- 각 선정 모델에 한 줄 설명 + 출처 링크 첨부.
4. 프레젠테이션 · Present
references/output-template.md의 가독성 높은 템플릿(표 + 한 줄 요약 + 면책 조항)을 엄격히 사용합니다.- 기본 출력은 Markdown 표입니다. 사용자가 "읽기"보다 "보기"를 원하면 Visualizer로 비교 카드를 렌더링할 수 있습니다.
- 항상 포함: ① 데이터 시간/출처; ② "실제 작업에서 추가로 20개의 비공개 평가를 수행할 것을 권장합니다."라는 알림.
경계 및 면책 조항 · Caveats
- 품질 점수가 AA/LMArena에서 온 것이 아니면, 반드시 "휴리스틱/커뮤니티 신호, 권위 있는 정보 아님"이라고 명확히 표시해야 합니다.
- 순위에는 편향이 있습니다 (LMArena는 영어권 기술 사용자에게 편향되고, 폐쇄형 신규 모델은 적용 범위가 낮습니다) — 교차 검증하고 맹신하지 마십시오.
- 우리는 사용자를 대신하여 "완전 자동 전환"을 하지 않습니다. 추천은 자문이며, 최종 결정과 다시 쓰기는 사용자의 명시적 확인이 필요합니다.
저장소의 다른 부분과의 관계 · Repo map
radar/snapshot.py: 일일 진입점, 가격 + 세 가지 등급 + 캐시 스냅샷 가져오기.radar/diff.py: 일간 변동 비교 (가격 변동/단종/모델 교체 제안).radar/quality_aa.py: Artificial Analysis 실제 품질 점수 연동.adapters/{dify,langgraph,n8n,otari}: 세 가지 등급을 사용자 워크플로우에 다시 쓰기 (기본 드라이런).- 더 많은 설계 세부 사항은
docs/architecture.md및docs/roadmap.md를 참조하세요.