Was macht relay?
Leite LLM-Traffic über Anbieter mit einem selbst gehosteten Gateway. Verwalte deine Schlüssel, Failover und das Routing für OpenAI- und Anthropic-API-Dialekte mit einer einzigen Go-Binärdatei.
Funktionen
- Zentrales API-Gateway: Ein einziger Endpunkt für alle LLM-Anfragen
- Anbieter-Failover: Automatisches Umschalten bei Ausfällen oder Ratenbegrenzungen
- Schlüsselverwaltung: Sicheres Speichern und Rotieren von API-Schlüsseln
- Routing-Regeln: Konfiguriere, welche Anfragen zu welchem Anbieter geleitet werden
- Unterstützte Dialekte: OpenAI-kompatible und Anthropic-API
Schnellstart
- Lade die neueste Go-Binärdatei von den Releases herunter.
- Erstelle eine Konfigurationsdatei
config.yaml:
providers:
openai:
api_key: "${OPENAI_API_KEY}"
anthropic:
api_key: "${ANTHROPIC_API_KEY}"
routing:
default_provider: openai
fallback_provider: anthropic
- Starte das Gateway:
./relay --config config.yaml
- Sende Anfragen an
http://localhost:8080/v1/chat/completions(OpenAI-kompatibel)
Konfiguration
Siehe die vollständige Dokumentation in der config.example.yaml-Datei.
Lizenz
MIT