ModelSieve · 模型筛 — Täglicher AI-Modell-Radar

ModelSieve · 模型筛

Anbieterneutrale „Modell-Intelligence- / Strategieberatungsschicht“. Kein Gateway – nur Informationsaggregation + gestaffelte Empfehlung + leicht verständliche Präsentation. Vendor-neutral model-intelligence layer. Not a gateway — only aggregation, tiered recommendation, readable output.

Wann verwenden · When to use

• Benutzer benötigen Auswahlberatung: „Empfiehl mir ein Modell“, „Welches fürs Programmieren?“, „Bestes Preis-Leistungs-Verhältnis?“, „Egal, das Beste.“
• Benutzer möchten einen Quervergleich: „Welches ist besser, Claude oder GPT?“, „Gibt es in dieser Preisklasse Besseres?“
• Benutzer benötigen Preis-/Qualitätsinformationen: „Welches Modell ist gerade am günstigsten?“, „Was ist neu und sehenswert?“
• Benutzer möchten die Empfehlung in ihren Workflow integrieren (optional): Mit adapters/ die drei Stufen zurück in Dify / LangGraph / n8n / otari schreiben.

Kernpositionierung · Positioning

• Weißraum: Intelligence-Schicht + Rückschreib-Adapter. Gateways/Router (OmniRoute, LiteLLM, otari) sind bereits ein roter Ozean – wir bauen keine Doppelarbeit.
• Erklärbar und rücknehmbar: Jede Empfehlung enthält einen Quellenlink und eine Begründung in einem Satz; Benutzer wissen jederzeit „Warum diese Wahl?“ und können sie ändern.
• Autorität immer kennzeichnen: Echtzeitpreise stammen von OpenRouter (zuverlässig); Qualitätsbewertungen bevorzugen Artificial Analysis / LMArena, andernfalls klar kennzeichnen als „Heuristik/Community-Signal, kein autoritativer Benchmark“.

Datenquellen-Matrix · Source matrix

Dimension	Autoritative Quelle	Zugriffsmethode	Was wird bereitgestellt	Hinweise
Echtzeitpreis / Verfügbarkeit	OpenRouter /api/v1/models	Kostenlos, kein Key erforderlich; radar/snapshot.py im Repo ruft direkt ab	340+ Modelle, echte $/1M, Kontext, Modalitäten	Zuverlässigstes Preissignal
Qualitätsindex	Artificial Analysis Intelligence Index	Öffentliches Leaderboard auf der Website; API benötigt kostenlosen Key (AA_API_KEY)	Umfassender Intelligenzindex, Geschwindigkeit (tokens/s), Preis	radar/quality_aa.py bereits implementiert; fallback auf Heuristik ohne Key
Menschliche Präferenz	LMArena (ursprünglich Chatbot Arena)	Kostenlose API + täglicher JSON-Snapshot; arena-rank PyPI reproduzierbar	Elo menschliche Präferenzbewertung (am nächsten am „Gefühl bei der Nutzung“)	Aufgabenbezogene Rangliste (Text/Code/Multimodal)
Anti-Contamination-Rangliste	LiveBench (livebench.ai)	Website; monatlich aktualisierte Fragen	Mathematik/Code/Reasoning, verhindert Benchmark-Gaming	Ergänzend zu AA/LMArena
Code-Spezialisten	SWE-bench Verified / Aider Polyglot	Website-Rangliste	Agentisches Coden / Editor-ähnliches Codieren	Für Coding-Modelle diese beiden ansehen
Community-Erfahrung	r/LocalLLaMA (Reddit)	WebSearch / WebFetch	Quantisierungsprobleme, reale Verfügbarkeit, Apple Silicon etc.	Forum mit höchstem Signal-Rausch-Verhältnis
Neuveröffentlichungen-Tracking	Hugging Face Trending / Daily Papers / LLM Stats	WebSearch	Neue Modelle in 24h, Community-Reaktionen	Für die neuesten Veröffentlichungen
Open-Weight-Aggregation	Vellum / Onyx open-weight leaderboard	Website	Nur Open-Weight-Quervergleich	Aus Self-Hosting-Perspektive

Vollständige Zugriffsdetails in references/sources.md (zweisprachig).

Arbeitsablauf · Workflow

1. Absicht erkennen · Classify intent

• best_quality / egal, das Beste → Höchste Qualität (hohe AA Intelligence Index + LMArena Elo).
• best_value / bestes Preis-Leistungs-Verhältnis → Bestes Qualitäts-Preis-Verhältnis (mit Echtzeitpreis berechnet).
• cheapest / günstigster Fallback → Niedrigster Preis, der die Aufgabe erfüllen kann.
• Falls der Benutzer einen Aufgabenbereich angibt (Coding / Reasoning / Long-Context / Vision), wird zusätzlich mit aufgabenspezifischen Ranglisten gefiltert.

2. Echtzeitdaten abrufen · Gather (bei Bedarf, bevorzugt in Echtzeit)

• Preis/Verfügbarkeit: Direkt ausführen python radar/snapshot.py (online OpenRouter abrufen; oder --offline aus Cache).
• Qualitätsbewertung: Bevorzugt Artificial Analysis (mit Key verwendet radar/quality_aa.py automatisch echte Werte); sonst WebFetch LMArena / AA-Rangliste.
• Community/Neuveröffentlichungen: WebSearch „r/LocalLLaMA “ oder „ benchmark 2026“.
• Verwende strukturierte APIs statt nur Webseiten-Zusammenfassungen; mehrere Quellen kreuzvalidieren, um einseitige Anbieterwerbung zu vermeiden.

3. Ranking · Rank

• Qualitätsstufe: Hauptsächlich AA Intelligence Index absteigend, LMArena Elo zur Kreuzvalidierung.
• Preis-Leistungs-Stufe: Preis-Leistungs-Index = Qualitätsbewertung / Durchschnittspreis, Top nehmen.
• Günstige Stufe: Echtzeit $/1M aufsteigend, offensichtliche Spielzeugmodelle ausschließen (Kontext <8K oder eingestellt).
• Jedes ausgewählte Modell erhält eine Begründung in einem Satz + Quellenlink.

4. Präsentation · Present

• Streng die Vorlage references/output-template.md verwenden (Tabelle + einzeilige Zusammenfassung + Haftungsausschluss).
• Standardmäßig als Markdown-Tabelle ausgegeben; wenn der Benutzer „sehen“ statt „lesen“ möchte, kann ein Visualizer Vergleichskarten rendern.
• Immer beifügen: ① Datenzeitpunkt/-quelle; ② Hinweis: „Empfehlung: Führe zusätzlich 20 private Evaluierungen auf deiner tatsächlichen Aufgabe durch.“

Grenzen und Haftungsausschluss · Caveats

• Wenn Qualitätsbewertungen nicht von AA/LMArena stammen, muss klar formuliert werden: „Heuristik/Community-Signal, nicht autoritativ“.
• Ranglisten sind verzerrt (LMArena bevorzugt englischsprachige Techniknutzer, geschlossene neue Modelle sind dünn abgedeckt) – immer kreuzvalidieren, keiner einzigen Quelle blind vertrauen.
• Wir übernehmen keine vollautomatische Steuerung für den Benutzer; die Empfehlung ist Beratung, die endgültige Entscheidung und das Rückschreiben erfordern die explizite Zustimmung des Benutzers.

Beziehung zu anderen Teilen des Repos · Repo map

• radar/snapshot.py: Täglicher Einstiegspunkt, ruft Preise + drei Stufen + Cache-Snapshot ab.
• radar/diff.py: Tagesübergreifende Abweichungsanalyse (Preisschwankungen/Einstellungen/Modellwechsel-Empfehlungen).
• radar/quality_aa.py: Integration des echten Artificial-Analysis-Qualitätsindex.
• adapters/{dify,langgraph,n8n,otari}: Schreibt die drei Stufen in den Benutzerworkflow zurück (Standard Dry-Run).
• Weitere Design-Details in docs/architecture.md und docs/roadmap.md.