¿Qué hace ModelSieve · ModelRadar?
Capa de inteligencia de modelos neutral al proveedor. No es un gateway — solo agregación de inteligencia + recomendación por niveles + presentación legible.
Cuándo usar
- El usuario necesita recomendación de selección: "Recomiéndame un modelo", "¿Cuál uso para escribir código?", "¿Cuál tiene mejor relación calidad/precio?", "El mejor sin importar el costo".
- El usuario necesita comparación horizontal: "¿Cuál es mejor, Claude o GPT?", "¿Hay algo mejor en este rango de precio?".
- El usuario necesita información de precio/calidad: "¿Cuál modelo es el más barato ahora?", "¿Qué novedades vale la pena revisar?".
- El usuario quiere llevar la recomendación a su flujo de trabajo (opcional): usar
adapters/para escribir los tres niveles de vuelta a Dify / LangGraph / n8n / otari.
Posicionamiento central
- Espacio en blanco: capa de inteligencia + adaptadores de escritura. Los gateways/routers (OmniRoute, LiteLLM, otari) ya son un océano rojo; no reinventamos la rueda.
- Explicable y reversible: cada recomendación incluye enlace a la fuente y una frase de justificación; el usuario siempre sabe "por qué se eligió esto" y puede cambiarlo.
- Siempre etiquetar la autoridad: los precios en tiempo real provienen de OpenRouter (confiables); la puntuación de calidad prioriza Artificial Analysis / LMArena; de lo contrario, se etiqueta claramente como "heurística/señal comunitaria, no benchmark autoritativo".
Matriz de fuentes de datos
| Dimensión | Fuente autoritativa | Método de acceso | Qué proporciona | Notas |
|---|---|---|---|---|
| Precio/disponibilidad en tiempo real | OpenRouter /api/v1/models | Gratuito, sin clave; radar/snapshot.py lo trae directamente | 340+ modelos (precio real $/1M, contexto, modalidades) | La señal de precio más confiable |
| Índice de calidad | Artificial Analysis Intelligence Index | Tabla pública en el sitio web; API requiere clave gratuita (AA_API_KEY) | Índice de inteligencia general, velocidad (tokens/s), precio | Ya integrado en radar/quality_aa.py; sin clave usa heurística de respaldo |
| Preferencia humana | LMArena (antes Chatbot Arena) | API gratuita + instantánea JSON diaria; arena-rank PyPI reproducible | Puntuación Elo de preferencia humana (la más cercana a "cómo se siente al usarlo") | Tablas por tarea (texto/código/multimodal) |
| Tabla de resistencia a la contaminación | LiveBench (livebench.ai) | Sitio web; preguntas renovadas mensualmente | Matemáticas/código/razonamiento, anti benchmark gaming | Complementa a AA/LMArena |
| Especializado en código | SWE-bench Verified / Aider Polyglot | Tablas en sitios web | Programación agentic / codificación tipo editor | Para elegir modelos de coding, mira estos |
| Pruebas comunitarias | r/LocalLLaMA (Reddit) | WebSearch / WebFetch | Cuantificaciones fallidas, usabilidad real, Apple Silicon, etc. | Foro con la mejor relación señal/ruido |
| Seguimiento de novedades | Hugging Face Trending / Daily Papers / LLM Stats | WebSearch | Modelos nuevos en 24h, reacciones de la comunidad | Para rastrear novedades |
| Agregación de pesos abiertos | Vellum / Onyx open-weight leaderboard | Sitio web | Comparación horizontal solo de pesos abiertos | Perspectiva de autohosting |
Los detalles completos de acceso están en
references/sources.md(bilingüe).
Flujo de trabajo
1. Clasificar la intención
best_quality/ "sin importar el costo" → mayor calidad máxima (AA Intelligence Index + LMArena Elo ambos altos).best_value/ "mejor relación calidad/precio" → óptimo calidad/precio (calcular índice de valor con precios en tiempo real).cheapest/ "más barato" → precio más bajo que pueda completar la tarea.- Si el usuario especifica un dominio de tarea (coding / razonamiento / contexto largo / visión), se superpone el filtro de tabla por tarea.
2. Obtener datos en tiempo real (según necesidad, priorizar tiempo real)
- Precio/disponibilidad: ejecutar directamente
python radar/snapshot.py(trae OpenRouter en línea; o--offlineusa caché). - Puntuación de calidad: priorizar Artificial Analysis (con clave,
radar/quality_aa.pyusa puntuaciones reales automáticamente); de lo contrario, WebFetch LMArena / tablas AA. - Comunidad/novedades: WebSearch "r/LocalLLaMA " o " benchmark 2026".
- Si se puede usar una API estructurada, no depender solo de resúmenes web; validación cruzada con múltiples fuentes para evitar autobombo de un solo proveedor.
3. Clasificar
- Nivel de calidad: orden descendente por AA Intelligence Index, con LMArena Elo como verificación cruzada.
- Nivel de valor:
índice de valor = puntuación de calidad / precio promedio, tomar los mejores. - Nivel económico: orden ascendente por $/1M en tiempo real, excluyendo modelos obviamente de juguete (contexto < 8K o retirados).
- Cada modelo seleccionado incluye una frase de justificación + enlace a la fuente.
4. Presentar
- Usar estrictamente la plantilla legible de
references/output-template.md(tabla + resumen en una frase + descargo de responsabilidad). - Por defecto, salida en tabla Markdown; si el usuario quiere "ver" en lugar de "leer", se puede usar el Visualizador para renderizar tarjetas de comparación.
- Siempre incluir: ① fecha/fuente de los datos; ② recordatorio de "se recomienda hacer 20 evaluaciones privadas más en tu tarea real".
Límites y descargo de responsabilidad
- Si la puntuación de calidad no proviene de AA/LMArena, debe escribir explícitamente "heurística/señal comunitaria, no autoritativa".
- Las tablas tienen sesgos (LMArena favorece a usuarios técnicos de habla inglesa, cobertura escasa de modelos cerrados nuevos) — validación cruzada, no confiar ciegamente en una sola fuente.
- No tomamos decisiones automáticas completas por el usuario; la recomendación es un consejo, la decisión final y la escritura requieren confirmación explícita del usuario.
Relación con otras partes del repositorio
radar/snapshot.py: punto de entrada diario, trae precios + tres niveles + instantánea en caché.radar/diff.py: comparación de deriva entre días (cambios de precio/retirada/recomendaciones de cambio de modelo).radar/quality_aa.py: integración de puntuaciones de calidad real de Artificial Analysis.adapters/{dify,langgraph,n8n,otari}: escribe los tres niveles de vuelta al flujo de trabajo del usuario (por defecto dry-run).- Más detalles de diseño en
docs/architecture.mdydocs/roadmap.md.