Was macht openclaw-provider-manager?
Verwalte KI-Modellanbieter durch automatische Modellerkennung, Verfolgung von Nutzungslimits und automatischen Modellwechsel bei Fehlern über Agenten hinweg.
Überblick
Diese Fähigkeit hilft Ihnen, mehrere KI-Modellanbieter effizient zu verwalten. Sie erkennt automatisch verfügbare Modelle, verfolgt Nutzungslimits in Echtzeit und schaltet bei Fehlern oder Ratenbegrenzungen automatisch auf ein alternatives Modell um.
Funktionen
- Automatische Modellerkennung: Scannt alle konfigurierten Anbieter nach verfügbaren Modellen.
- Nutzungslimit-Verfolgung: Überwacht API-Aufrufe, Tokens und Kosten.
- Automatischer Failover: Wechselt bei Fehlern oder Ratenbegrenzungen nahtlos das Modell.
- Multi-Agent-Unterstützung: Funktioniert mit mehreren Agenten gleichzeitig.
- Konfigurierbare Strategien: Wählen Sie zwischen Round-Robin, Priorität oder Lastausgleich.
Konfiguration
Erstellen Sie eine Datei providers.yaml oder providers.json im Stammverzeichnis Ihres Projekts:
providers:
- name: openai
api_key: ${OPENAI_API_KEY}
models:
- gpt-4
- gpt-3.5-turbo
- name: anthropic
api_key: ${ANTHROPIC_API_KEY}
models:
- claude-3-opus-20240229
- claude-3-sonnet-20240229
fallback_strategy: priority
monitoring:
enabled: true
interval: 60
Verwendung
Sobald die Fähigkeit aktiviert ist, können Sie sie wie folgt nutzen:
from provider_manager import ProviderManager
manager = ProviderManager()
model = manager.select_model() # Wählt das beste Modell basierend auf der Strategie
response = manager.invoke(model, prompt) # Führt den Aufruf mit Failover aus
Unterstützte Plattformen
- Claude Code
- Cursor
- Codex
- Custom Agents über API
Fehlerbehandlung
Die Fähigkeit behandelt automatisch:
RateLimitError: Wechselt zu einem anderen Modell desselben Anbieters.AuthenticationError: Deaktiviert den Anbieter vorübergehend.TimeoutError: Wiederholt die Anfrage mit einem anderen Modell.
Lizenz
MIT