ModelSieve · ModelRadar

Radar diario de modelos de IA: rastrea, compara y visualiza la calidad de los modelos en todos los dominios.

¿Qué es ModelSieve · ModelRadar?

**ModelSieve** es una capa de inteligencia de modelos neutral al proveedor, diseñada para desarrolladores y agentes de IA (Claude Code, Cursor, Codex, etc.) que necesitan **selección informada, comparación y recomendaciones basadas en datos** sin convertirse en un gateway o router. Su función principal es agregar datos de múltiples fuentes autoritativas (OpenRouter para precios, Artificial Analysis y LMArena para calidad, LiveBench y SWE-bench para benchmarks específicos) y producir recomendaciones por niveles (mejor calidad, mejor valor, más barato) con justificaciones y enlaces a las fuentes. El skill soporta tanto consultas ad-hoc como integración con flujos de trabajo (Dify, LangGraph, n8n, otari) a través de adaptadores opcionales. ModelSieve no realiza enrutamiento automático ni llamadas a modelos; actúa como un **asesor estratégico** que presenta datos transparentes y verificables, permitiendo al usuario o agente tomar la decisión final. Es especialmente útil para tareas como 'recomiéndame un modelo para coding', 'compara Claude con GPT-4o en relación calidad/precio', o '¿cuál es el modelo más barato para visión por computadora?'.

Compatible con✓Claude Code~Codex CLI~Cursor✓Antigravity
npx skills add Bin-H-17/modellens

Installed? Explore more Investigación y análisis de datos skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace ModelSieve · ModelRadar?

Capa de inteligencia de modelos neutral al proveedor. No es un gateway — solo agregación de inteligencia + recomendación por niveles + presentación legible.

Cuándo usar

  • El usuario necesita recomendación de selección: "Recomiéndame un modelo", "¿Cuál uso para escribir código?", "¿Cuál tiene mejor relación calidad/precio?", "El mejor sin importar el costo".
  • El usuario necesita comparación horizontal: "¿Cuál es mejor, Claude o GPT?", "¿Hay algo mejor en este rango de precio?".
  • El usuario necesita información de precio/calidad: "¿Cuál modelo es el más barato ahora?", "¿Qué novedades vale la pena revisar?".
  • El usuario quiere llevar la recomendación a su flujo de trabajo (opcional): usar adapters/ para escribir los tres niveles de vuelta a Dify / LangGraph / n8n / otari.

Posicionamiento central

  • Espacio en blanco: capa de inteligencia + adaptadores de escritura. Los gateways/routers (OmniRoute, LiteLLM, otari) ya son un océano rojo; no reinventamos la rueda.
  • Explicable y reversible: cada recomendación incluye enlace a la fuente y una frase de justificación; el usuario siempre sabe "por qué se eligió esto" y puede cambiarlo.
  • Siempre etiquetar la autoridad: los precios en tiempo real provienen de OpenRouter (confiables); la puntuación de calidad prioriza Artificial Analysis / LMArena; de lo contrario, se etiqueta claramente como "heurística/señal comunitaria, no benchmark autoritativo".

Matriz de fuentes de datos

DimensiónFuente autoritativaMétodo de accesoQué proporcionaNotas
Precio/disponibilidad en tiempo realOpenRouter /api/v1/modelsGratuito, sin clave; radar/snapshot.py lo trae directamente340+ modelos (precio real $/1M, contexto, modalidades)La señal de precio más confiable
Índice de calidadArtificial Analysis Intelligence IndexTabla pública en el sitio web; API requiere clave gratuita (AA_API_KEY)Índice de inteligencia general, velocidad (tokens/s), precioYa integrado en radar/quality_aa.py; sin clave usa heurística de respaldo
Preferencia humanaLMArena (antes Chatbot Arena)API gratuita + instantánea JSON diaria; arena-rank PyPI reproduciblePuntuación Elo de preferencia humana (la más cercana a "cómo se siente al usarlo")Tablas por tarea (texto/código/multimodal)
Tabla de resistencia a la contaminaciónLiveBench (livebench.ai)Sitio web; preguntas renovadas mensualmenteMatemáticas/código/razonamiento, anti benchmark gamingComplementa a AA/LMArena
Especializado en códigoSWE-bench Verified / Aider PolyglotTablas en sitios webProgramación agentic / codificación tipo editorPara elegir modelos de coding, mira estos
Pruebas comunitariasr/LocalLLaMA (Reddit)WebSearch / WebFetchCuantificaciones fallidas, usabilidad real, Apple Silicon, etc.Foro con la mejor relación señal/ruido
Seguimiento de novedadesHugging Face Trending / Daily Papers / LLM StatsWebSearchModelos nuevos en 24h, reacciones de la comunidadPara rastrear novedades
Agregación de pesos abiertosVellum / Onyx open-weight leaderboardSitio webComparación horizontal solo de pesos abiertosPerspectiva de autohosting

Los detalles completos de acceso están en references/sources.md (bilingüe).

Flujo de trabajo

1. Clasificar la intención

  • best_quality / "sin importar el costo" → mayor calidad máxima (AA Intelligence Index + LMArena Elo ambos altos).
  • best_value / "mejor relación calidad/precio" → óptimo calidad/precio (calcular índice de valor con precios en tiempo real).
  • cheapest / "más barato" → precio más bajo que pueda completar la tarea.
  • Si el usuario especifica un dominio de tarea (coding / razonamiento / contexto largo / visión), se superpone el filtro de tabla por tarea.

2. Obtener datos en tiempo real (según necesidad, priorizar tiempo real)

  • Precio/disponibilidad: ejecutar directamente python radar/snapshot.py (trae OpenRouter en línea; o --offline usa caché).
  • Puntuación de calidad: priorizar Artificial Analysis (con clave, radar/quality_aa.py usa puntuaciones reales automáticamente); de lo contrario, WebFetch LMArena / tablas AA.
  • Comunidad/novedades: WebSearch "r/LocalLLaMA " o " benchmark 2026".
  • Si se puede usar una API estructurada, no depender solo de resúmenes web; validación cruzada con múltiples fuentes para evitar autobombo de un solo proveedor.

3. Clasificar

  • Nivel de calidad: orden descendente por AA Intelligence Index, con LMArena Elo como verificación cruzada.
  • Nivel de valor: índice de valor = puntuación de calidad / precio promedio, tomar los mejores.
  • Nivel económico: orden ascendente por $/1M en tiempo real, excluyendo modelos obviamente de juguete (contexto < 8K o retirados).
  • Cada modelo seleccionado incluye una frase de justificación + enlace a la fuente.

4. Presentar

  • Usar estrictamente la plantilla legible de references/output-template.md (tabla + resumen en una frase + descargo de responsabilidad).
  • Por defecto, salida en tabla Markdown; si el usuario quiere "ver" en lugar de "leer", se puede usar el Visualizador para renderizar tarjetas de comparación.
  • Siempre incluir: ① fecha/fuente de los datos; ② recordatorio de "se recomienda hacer 20 evaluaciones privadas más en tu tarea real".

Límites y descargo de responsabilidad

  • Si la puntuación de calidad no proviene de AA/LMArena, debe escribir explícitamente "heurística/señal comunitaria, no autoritativa".
  • Las tablas tienen sesgos (LMArena favorece a usuarios técnicos de habla inglesa, cobertura escasa de modelos cerrados nuevos) — validación cruzada, no confiar ciegamente en una sola fuente.
  • No tomamos decisiones automáticas completas por el usuario; la recomendación es un consejo, la decisión final y la escritura requieren confirmación explícita del usuario.

Relación con otras partes del repositorio

  • radar/snapshot.py: punto de entrada diario, trae precios + tres niveles + instantánea en caché.
  • radar/diff.py: comparación de deriva entre días (cambios de precio/retirada/recomendaciones de cambio de modelo).
  • radar/quality_aa.py: integración de puntuaciones de calidad real de Artificial Analysis.
  • adapters/{dify,langgraph,n8n,otari}: escribe los tres niveles de vuelta al flujo de trabajo del usuario (por defecto dry-run).
  • Más detalles de diseño en docs/architecture.md y docs/roadmap.md.

Skills relacionados