Modellens · 模型雷达

ModelSieve · 模型筛

Couche d'intelligence de modèle, neutre vis-à-vis des fournisseurs. Pas une passerelle — seulement agrégation d'informations, recommandation par niveau, présentation lisible.

Quand l'utiliser · Quand utiliser

• L'utilisateur a besoin de conseils de sélection : "Recommande-moi un modèle", "Lequel pour coder", "Le meilleur rapport qualité-prix", "Le meilleur sans compter".
• L'utilisateur veut une comparaison horizontale : "Claude ou GPT, lequel est le meilleur", "Y a-t-il mieux à ce prix là".
• L'utilisateur veut des informations prix/qualité : "Quel est le modèle le moins cher actuellement", "Quoi de nouveau à surveiller".
• L'utilisateur veut intégrer la recommandation dans son workflow (optionnel) : en utilisant les adapters/ pour écrire les trois niveaux dans Dify / LangGraph / n8n / otari.

Positionnement clé · Positionnement

• Espace libre : couche d'information + adaptateur d'écriture. Les passerelles/routeurs (OmniRoute, LiteLLM, otari) sont saturés ; on ne réinvente pas la roue.
• Explicable et réversible : chaque recommandation est accompagnée d'un lien source et d'une raison concise ; l'utilisateur sait toujours "pourquoi ce choix" et peut le modifier.
• Toujours marquer l'autorité : les prix en temps réel proviennent d'OpenRouter (fiable) ; les scores de qualité priorisent Artificial Analysis / LMArena, sinon marqués explicitement comme "heuristiques / signaux communautaires, non officiels".

Matrice des sources · Source matrix

Dimension	Source officielle	Accès	Ce qu'elle fournit	Notes
Prix / disponibilité en temps réel	OpenRouter /api/v1/models	Gratuit, sans clé ; radar/snapshot.py du dépôt récupère directement	340+ modèles, vrai $/1M, contexte, modalités	Le signal de prix le plus fiable
Indice de qualité	Artificial Analysis Intelligence Index	Classement public sur le site ; API nécessite clé gratuite (AA_API_KEY)	Indice d'intelligence composite, vitesse (tokens/s), prix	Intégré dans radar/quality_aa.py ; solution de repli heuristique sans clé
Préférence humaine	LMArena (anciennement Chatbot Arena)	API gratuite + instantané JSON quotidien ; arena-rank PyPI reproductible	Score Elo de préférence humaine (le plus proche de "l'expérience utilisateur")	Classements par tâche (texte/code/multimodal)
Classement de robustesse à la contamination	LiveBench (livebench.ai)	Site web ; questions renouvelées mensuellement	Mathématiques/code/raisonnement, résistance aux fuites de benchmark	Complémentaire à AA/LMArena
Spécialisation code	SWE-bench Verified / Aider Polyglot	Sites officiels	Agentic coding / codage éditeur	À regarder pour choisir un modèle de codage
Tests communautaires	r/LocalLLaMA (Reddit)	WebSearch / WebFetch	Quantifications foireuses, utilisabilité réelle, Apple Silicon, etc.	Forum avec le meilleur rapport signal/bruit
Suivi des nouvelles publications	Hugging Face Trending / Daily Papers / LLM Stats	WebSearch	Nouveaux modèles en 24h, réactions de la communauté	Pour suivre les nouvelles sorties
Agrégation des poids ouverts	Vellum / Onyx open-weight leaderboard	Site web	Comparaison horizontale des poids ouverts uniquement	Point de vue auto-hébergé

Voir references/sources.md (bilingue) pour les détails complets d'accès.

Workflow · Workflow

1. Classifier l'intention · Classify intent

• best_quality / sans compter → qualité maximale (AA Intelligence Index + LMArena Elo élevés).
• best_value / meilleur rapport qualité-prix → optimal qualité/prix (calcul d'indice de rapport qualité-prix avec prix en temps réel).
• cheapest / moins cher → prix le plus bas, capable de la tâche.
• Si l'utilisateur spécifie un domaine de tâche (coding / reasoning / long-context / vision), filtrer via le classement de la tâche.

2. Collecter les données en temps réel · Gather (à la demande, priorité temps réel)

• Prix/disponibilité : exécuter directement python radar/snapshot.py (récupération en ligne depuis OpenRouter ; ou --offline avec cache).
• Scores de qualité : prioriser Artificial Analysis (avec clé, radar/quality_aa.py utilise les vrais scores automatiquement) ; sinon WebFetch LMArena / AA classement.
• Communauté/nouveautés : WebSearch « r/LocalLLaMA <modèle> » ou « <modèle> benchmark 2026 ».
• Utiliser les API structurées quand c'est possible, pas seulement des résumés de pages web ; recouper plusieurs sources, éviter les auto-promotions d'un seul fournisseur.

3. Classer · Rank

• Niveau qualité : principalement AA Intelligence Index décroissant, LMArena Elo en validation croisée.
• Niveau rapport qualité-prix : Indice rapport qualité-prix = score qualité / prix moyen, top des meilleurs.
• Niveau économique : prix réel $/1M croissant, exclure les modèles jouets (contexte <8K ou retirés).
• Chaque modèle sélectionné est accompagné d'une phrase de justification + un lien source.

4. Présenter · Present

• Utiliser strictement le modèle de references/output-template.md pour une présentation lisible (tableaux + résumé en une phrase + clause de non-responsabilité).
• Par défaut, sortie en tableau Markdown ; si l'utilisateur veut "voir" plutôt que "lire", utiliser le Visualizer pour afficher des cartes de comparaison.
• Toujours ajouter : ① date/source des données ; ② rappel "Il est conseillé de faire 20 évaluations privées supplémentaires sur votre tâche réelle".

Limites et clause de non-responsabilité · Caveats

• Si le score de qualité ne provient pas d'AA/LMArena, il doit être explicitement marqué comme "heuristique / signal communautaire, non officiel".
• Les classements ont des biais (LMArena favorise les utilisateurs techniques anglophones, couverture sparse des nouveaux modèles propriétaires) — recouper, ne pas se fier aveuglément à une seule source.
• On ne prend pas de décision "full-auto" pour l'utilisateur ; les recommandations sont consultatives, la décision finale et l'écriture nécessitent une confirmation explicite de l'utilisateur.

Relation avec les autres parties du dépôt · Repo map

• radar/snapshot.py : entrée quotidienne, récupère les prix + trois niveaux + instantané en cache.
• radar/diff.py : comparaison de dérive entre jours (fluctuation des prix/retrait/recommandation de changement de modèle).
• radar/quality_aa.py : intégration des vrais scores de qualité d'Artificial Analysis.
• adapters/{dify,langgraph,n8n,otari} : écriture des trois niveaux dans les workflows utilisateur (dry-run par défaut).
• Plus de détails de conception dans docs/architecture.md et docs/roadmap.md.