ModelSieve · 模型篩
供應商中立的「模型情報 / 策略顧問層」。不做閘道,只做情報聚合 + 分檔推薦 + 易讀呈現。 Vendor-neutral model-intelligence layer. Not a gateway — only aggregation, tiered recommendation, readable output.
何時使用 · When to use
- 用戶要選型建議:「給我推薦個模型」「寫代碼用哪個」「性價比最高的」「不考慮錢用最好的」。
- 用戶要橫向對比:「Claude 和 GPT 哪個值」「這個價位有沒有更好的」。
- 用戶要價格/品質情報:「現在哪個模型最便宜」「最新發布有哪些值得看」。
- 用戶要把推薦落到工作流(可選):配合
adapters/把三檔寫回 Dify / LangGraph / n8n / otari。
核心定位 · Positioning
- 白空間:情報層 + 寫回適配器。閘道/路由(OmniRoute、LiteLLM、otari)已是紅海,我們不重複造。
- 可解釋、可回退:每個推薦都給出來源連結與一句話理由;用戶隨時知道「為什麼選它」,且能改回。
- 永遠標註權威性:即時價格來自 OpenRouter(可靠);品質分優先使用 Artificial Analysis / LMArena,否則明確標註「啟發式/社區訊號,非權威 benchmark」。
數據源矩陣 · Source matrix
| 維度 | 權威源 | 訪問方式 | 提供什麼 | 備註 |
|---|---|---|---|---|
| 即時價格 / 可用性 | OpenRouter /api/v1/models | 免費、無需 key;本倉 radar/snapshot.py 直接拉 | 340+ 模型真實 $/1M、上下文、模態 | 最可靠的價格訊號 |
| 品質指數 | Artificial Analysis Intelligence Index | 官網榜單公開;API 需免費 key(AA_API_KEY) | 綜合智能指數、速度(tokens/s)、價格 | 本倉 radar/quality_aa.py 已整合,無 key 時啟發式兜底 |
| 人類偏好 | LMArena (原 Chatbot Arena) | 免費 API + 每日 JSON 快照;arena-rank PyPI 可複現 | Elo 人類偏好分(最貼近「用起來感覺」) | 分任務榜(文本/程式碼/多模態) |
| 抗污染能力榜 | LiveBench (livebench.ai) | 官網;月度重新整理題 | 數學/程式碼/推理,防 benchmark gaming | 與 AA/LMArena 互補 |
| 程式碼專項 | SWE-bench Verified / Aider Polyglot | 官網榜單 | agentic coding / 編輯器式編碼 | 選 coding 模型看這兩個 |
| 社區實測 | r/LocalLLaMA (Reddit) | WebSearch / WebFetch | 量化翻車、真機可用性、Apple Silicon 等 | 訊號雜訊比最高的論壇 |
| 新發布追蹤 | Hugging Face Trending / Daily Papers / LLM Stats | WebSearch | 24h 內新模型、社群反應 | 追新發布用 |
| 開源權重聚合 | Vellum / Onyx open-weight leaderboard | 官網 | 僅開源權重的橫向比較 | 自託管視角 |
完整訪問細節見
references/sources.md(雙語)。
工作流程 · Workflow
1. 解析意圖 · Classify intent
best_quality/不考慮錢→ 品質上限最高(AA Intelligence Index + LMArena Elo 雙高)。best_value/性價比最高→ 品質/價格 最優(用即時價格算性價比指數)。cheapest/最便宜兜底→ 價格最低且能完成任務。- 若用戶指定任務域(coding / reasoning / long-context / vision),疊加任務榜過濾。
2. 拉取即時數據 · Gather(按需,優先即時)
- 價格/可用性:直接執行
python radar/snapshot.py(聯網拉 OpenRouter;或--offline走快取)。 - 品質分:優先 Artificial Analysis(有 key 時
radar/quality_aa.py自動用真實分);否則 WebFetch LMArena / AA 榜單。 - 社群/新發布:WebSearch「r/LocalLLaMA <模型>」或「<模型> benchmark 2026」。
- 能用結構化 API 就別只靠網頁摘要;多源交叉驗證,避免單一廠商自吹。
3. 排名 · Rank
- 品質檔:AA Intelligence Index 降序為主,LMArena Elo 作交叉印證。
- 性價比檔:
性價比指數 = 品質分 / 平均價格,取 top。 - 便宜檔:即時 $/1M 升序,剔除明顯 toy 模型(上下文<8K 或已退市)。
- 每個入選模型附一句話理由 + 來源連結。
4. 呈現 · Present
- 嚴格使用
references/output-template.md的易讀模板(表格 + 一句話總結 + 免責聲明)。 - 預設輸出 Markdown 表格;若用戶要「看」而非「讀」,可用 Visualizer 渲染對比卡片。
- 永遠附:① 數據時間/來源;② 「建議在你的真實任務上再做 20 條私有評測」的提醒。
邊界與免責 · Caveats
- 品質分若非來自 AA/LMArena,必須明確寫「啟發式/社區訊號,非權威」。
- 榜單有偏差(LMArena 偏英語技術用戶、閉源新模型覆蓋稀疏)——交叉印證,不盲信單一源。
- 我們不替用戶做「全自動接管」;推薦是顧問,最終決策與寫回需用戶明確確認。
與倉庫其他部分的關係 · Repo map
radar/snapshot.py:每日入口,拉價格+三檔+快取快照。radar/diff.py:跨日漂移對比(價格波動/退市/換模型建議)。radar/quality_aa.py:Artificial Analysis 真實品質分接入。adapters/{dify,langgraph,n8n,otari}:把三檔寫回用戶工作流(預設 dry-run)。- 更多設計細節見
docs/architecture.md與docs/roadmap.md。