Was macht manifest?
Intelligentes Modell-Routing für Agents. Sparen Sie bis zu 70% Kosten 🦚
Überblick
mnfst/manifest ist eine leistungsstarke Fähigkeit für KI-Agenten, die Anfragen dynamisch an das am besten geeignete Large Language Model (LLM) weiterleitet. Durch die Analyse von Aufgabenmerkmalen wie Schwierigkeitsgrad, erwarteter Latenz und Kostenanforderungen reduziert es die Betriebskosten drastisch, während die Antwortqualität erhalten bleibt.
Hauptmerkmale
- Intelligentes Routing: Wählt automatisch das beste Modell (z. B. GPT-4o, Claude 3.5, Gemini, Llama) basierend auf der Anfrage.
- Kostenoptimierung: Senkt die Ausgaben um bis zu 70% durch die Vermeidung teurer Modelle für einfache Aufgaben.
- Latenzverbesserung: Bevorzugt schnellere Modelle für zeitkritische Anfragen.
- Plattformunabhängig: Funktioniert mit Claude Code, Cursor, Codex und anderen agentenbasierten Systemen.
Funktionsweise
Der Agent erfasst bei jeder Anfrage relevante Metadaten:
- Aufgabenkomplexität (einfach, mittel, komplex)
- Gewünschte Antwortlatenz (schnell, ausgewogen, gründlich)
- Kostenbudget (niedrig, mittel, hoch)
Basierend auf diesen Parametern wird eine Routing-Entscheidung getroffen und das optimale Modell aus der verfügbaren Liste ausgewählt. Die Konfiguration erfolgt über die Datei manifest.yaml im Projektstamm.
Beispielkonfiguration
# manifest.yaml
routing:
default_model: gpt-4o-mini
fallback: claude-3-5-sonnet
rules:
- task: code_generation
model: claude-3-5-sonnet
cost_tier: high
- task: simple_qa
model: gpt-4o-mini
cost_tier: low
Verwendung
Nach der Installation muss die Fähigkeit im Agenten aktiviert werden. Der Agent nutzt dann automatisch das Routing-System für alle LLM-Anfragen. Keine zusätzlichen Code-Änderungen erforderlich.
Lizenz
Dieses Projekt ist unter der MIT-Lizenz lizenziert.