ModelSieve · 模型筛

O que ModelSieve · 模型筛 faz?

Camada de inteligência neutra em relação a fornecedores, focada em "inteligência de modelos / camada de consultoria estratégica". Não é um gateway — apenas agregação de informações + recomendação por faixas + apresentação legível.

Quando usar · When to use

• O usuário quer recomendação de seleção: "Me recomende um modelo" / "Qual usar para codar?" / "Melhor custo-benefício" / "Melhor sem considerar custo".
• O usuário quer comparação lado a lado: "Qual vale mais, Claude ou GPT?" / "Tem algo melhor nessa faixa de preço?".
• O usuário quer informações sobre preço/qualidade: "Qual modelo é mais barato agora?" / "Quais lançamentos recentes valem a pena?".
• O usuário quer incorporar a recomendação no fluxo de trabalho (opcional): usar adapters/ para escrever as três faixas de volta no Dify / LangGraph / n8n / otari.

Posicionamento principal · Positioning

• Espaço branco: camada de inteligência + adaptadores de escrita. Gateways/roteadores (OmniRoute, LiteLLM, otari) já são um oceano vermelho — não reinventamos a roda.
• Explicável e reversível: cada recomendação vem com link de origem e justificativa em uma frase; o usuário sempre sabe "por que escolhi isso" e pode voltar atrás.
• Autoridade sempre sinalizada: preços em tempo real do OpenRouter (confiável); qualidade prioriza Artificial Analysis / LMArena; caso contrário, sinaliza explicitamente "heurístico/sinal comunitário, não benchmark oficial".

Matriz de fontes · Source matrix

Dimensão	Fonte Autoritativa	Acesso	O que fornece	Notas
Preço / Disponibilidade em tempo real	OpenRouter /api/v1/models	Gratuito, sem chave; radar/snapshot.py puxa diretamente	$/1M real de 340+ modelos, contexto, modalidades	Sinal de preço mais confiável
Índice de qualidade	Artificial Analysis Intelligence Index	Tabela pública no site; API requer chave gratuita (AA_API_KEY)	Índice de inteligência geral, velocidade (tokens/s), preço	radar/quality_aa.py já integrado; fallback heurístico sem chave
Preferência humana	LMArena (antigo Chatbot Arena)	API gratuita + snapshot JSON diário; pacote arena-rank reproduzível no PyPI	Pontuação Elo de preferência humana (mais próximo de "sensação de uso")	Tabelas por tarefa (texto/código/multimodal)
Resistência a contaminação	LiveBench (livebench.ai)	Site; perguntas atualizadas mensalmente	Matemática/código/raciocínio, anti-benchmark gaming	Complementar a AA/LMArena
Especializado em código	SWE-bench Verified / Aider Polyglot	Tabelas no site	Codificação agentic / codificação estilo editor	Para selecionar modelo de codificação, olhe estes dois
Testes da comunidade	r/LocalLLaMA (Reddit)	WebSearch / WebFetch	Quantizações problemáticas, usabilidade real, Apple Silicon, etc.	Fórum com maior relação sinal-ruído
Acompanhamento de lançamentos	Hugging Face Trending / Daily Papers / LLM Stats	WebSearch	Novos modelos em 24h, reação da comunidade	Para acompanhar lançamentos recentes
Agregação de pesos abertos	Vellum / Onyx open-weight leaderboard	Site	Comparação horizontal apenas de pesos abertos	Perspectiva de auto-hospedagem

Detalhes completos de acesso em references/sources.md (bilíngue).

Fluxo de trabalho · Workflow

1. Classificar intenção · Classify intent

• best_quality / "sem considerar custo" → maior qualidade possível (AA Intelligence Index + LMArena Elo altos).
• best_value / "melhor custo-benefício" → qualidade/preço ótimo (calcula índice de custo-benefício com preços em tempo real).
• cheapest / "mais barato para a tarefa" → menor preço que ainda atende à tarefa.
• Se o usuário especificar domínio da tarefa (coding / reasoning / long-context / vision), aplicar filtro por tabela de tarefas.

2. Coletar dados em tempo real · Gather (sob demanda, priorizar tempo real)

• Preço/disponibilidade: executar diretamente python radar/snapshot.py (puxar OpenRouter online; ou --offline usar cache).
• Pontuação de qualidade: priorizar Artificial Analysis (com chave, radar/quality_aa.py usa pontuação real automaticamente); caso contrário, WebFetch LMArena / tabelas AA.
• Comunidade/lançamentos: WebSearch "r/LocalLLaMA " ou " benchmark 2026".
• Se houver API estruturada, não depende apenas de resumo de página; cruzar fontes, evitar auto-promoção de um único fornecedor.

3. Ranquear · Rank

• Faixa de qualidade: ordem decrescente de AA Intelligence Index, com LMArena Elo como validação cruzada.
• Faixa de custo-benefício: índice = pontuação de qualidade / preço médio, pegar os top.
• Faixa barata: ordem crescente de $/1M em tempo real, excluir modelos claramente de brinquedo (contexto <8K ou descontinuados).
• Cada modelo selecionado vem com justificativa em uma frase + link de origem.

4. Apresentar · Present

• Usar estritamente o template legível de references/output-template.md (tabela + resumo em uma frase + isenção de responsabilidade).
• Padrão: saída em tabela Markdown; se o usuário quiser "ver" em vez de "ler", usar Visualizer para renderizar cartões de comparação.
• Sempre incluir: ① data/hora e fonte dos dados; ② lembrete "recomenda-se fazer 20 avaliações privadas adicionais na sua tarefa real".

Limites e isenções · Caveats

• Se a pontuação de qualidade não vier de AA/LMArena, escrever explicitamente "heurístico/sinal comunitário, não oficial".
• Tabelas têm viés (LMArena tende a usuários técnicos de inglês, cobertura esparsa de modelos fechados novos) — cruzar fontes, não confiar cegamente em uma única.
• Não fazemos "assunção total automática" pelo usuário; a recomendação é consultiva; a decisão final e a escrita de volta exigem confirmação explícita do usuário.

Relação com outras partes do repositório · Repo map

• radar/snapshot.py: entrada diária, puxa preço + três faixas + cache de snapshot.
• radar/diff.py: comparação de deriva entre dias (flutuação de preço / descontinuação / sugestão de troca de modelo).
• radar/quality_aa.py: integração com pontuação real de qualidade da Artificial Analysis.
• adapters/{dify,langgraph,n8n,otari}: escreve as três faixas de volta no fluxo de trabalho do usuário (padrão: dry-run).
• Mais detalhes de design em docs/architecture.md e docs/roadmap.md.