OpenRouter Skill
Umfassende Unterstützung bei der Entwicklung mit der OpenRouter API, die einheitlichen Zugriff auf hunderte KI-Modelle über einen einzigen Endpunkt mit intelligentem Routing, automatischen Fallbacks und standardisierten Schnittstellen bietet.
Wann diese Skill verwendet werden sollte
Diese Skill sollte ausgelöst werden, wenn:
- API-Aufrufe an mehrere KI-Modellanbieter über eine einheitliche Schnittstelle getätigt werden
- Modell-Fallback-Strategien oder Auto-Routing implementiert werden
- Mit OpenAI-kompatiblen SDKs gearbeitet wird, aber mehrere Anbieter angesprochen werden sollen
- Erweiterte Sampling-Parameter (Temperatur, top_p, Strafen) konfiguriert werden
- Streaming-Antworten oder strukturierte JSON-Ausgaben eingerichtet werden
- Kosten zwischen verschiedenen KI-Modellen verglichen werden
- Anwendungen entwickelt werden, die automatisches Provider-Failover benötigen
- Funktions-/Tool-Aufrufe über verschiedene Modelle hinweg implementiert werden
- Fragen zu OpenRouter-spezifischen Funktionen (Routing, Fallbacks, Zero Completion Insurance) auftauchen
Kurzreferenz
Basis-Chat-Completion (Python)
from openai import OpenAI
client = OpenAI(
base_url="https://openrouter.ai/api/v1",
api_key="<OPENROUTER_API_KEY>",
)
completion = client.chat.completions.create(
model="openai/gpt-4o",
messages=[{"role": "user", "content": "Was ist der Sinn des Lebens?"}]
)
print(completion.choices[0].message.content)
Basis-Chat-Completion (JavaScript/TypeScript)
import OpenAI from 'openai';
const openai = new OpenAI({
baseURL: 'https://openrouter.ai/api/v1',
apiKey: '<OPENROUTER_API_KEY>',
});
const completion = await openai.chat.completions.create({
model: 'openai/gpt-4o',
messages: [{"role": 'user', 'content': 'Was ist der Sinn des Lebens?'}],
});
console.log(completion.choices[0].message);
cURL-Anfrage
curl https://openrouter.ai/api/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENROUTER_API_KEY" \
-d '{
"model": "openai/gpt-4o",
"messages": [{"role": "user", "content": "Was ist der Sinn des Lebens?"}]
}'
Modell-Fallback-Konfiguration (Python)
completion = client.chat.completions.create(
model="openai/gpt-4o",
extra_body={
"models": ["anthropic/claude-3.5-sonnet", "gryphe/mythomax-l2-13b"],
},
messages=[{"role": "user", "content": "Ihr Prompt hier"}]
)
Modell-Fallback-Konfiguration (TypeScript)
const completion = await client.chat.completions.create({
model: 'openai/gpt-4o',
models: ['anthropic/claude-3.5-sonnet', 'gryphe/mythomax-l2-13b'],
messages: [{ role: 'user', content: 'Ihr Prompt hier' }],
});
Auto-Router (Dynamische Modellauswahl)
completion = client.chat.completions.create(
model="openrouter/auto", # Wählt automatisch das beste Modell für den Prompt aus
messages=[{"role": "user", "content": "Ihr Prompt hier"}]
)
Beispiel für erweiterte Parameter
completion = client.chat.completions.create(
model="openai/gpt-4o",
messages=[{"role": "user", "content": "Schreibe eine kreative Geschichte"}],
temperature=0.8, # Höher für Kreativität (0.0-2.0)
max_tokens=500, # Begrenzung der Antwortlänge
top_p=0.9, # Nucleus-Sampling (0.0-1.0)
frequency_penalty=0.5, # Wiederholungen reduzieren (-2.0-2.0)
presence_penalty=0.3 # Themenvielfalt fördern (-2.0-2.0)
)
Streaming-Antwort
stream = client.chat.completions.create(
model="openai/gpt-4o",
messages=[{"role": "user", "content": "Erzähl mir eine Geschichte"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end='')
JSON-Modus (Strukturierte Ausgabe)
completion = client.chat.completions.create(
model="openai/gpt-4o",
messages=[{
"role": "user",
"content": "Extrahiere Name, Alter und Stadt der Person aus: John ist 30 und lebt in NYC"
}],
response_format={"type": "json_object"}
)
Deterministische Ausgabe mit Seed
completion = client.chat.completions.create(
model="openai/gpt-4o",
messages=[{"role": "user", "content": "Generiere eine Zufallszahl"}],
seed=42, # Gleicher Seed = gleiche Ausgabe (falls unterstützt)
temperature=0.0 # Deterministisches Sampling
)
Schlüsselkonzepte
Modell-Routing
OpenRouter bietet intelligente Routing-Fähigkeiten:
- Auto-Router (
openrouter/auto): Wählt automatisch das beste Modell basierend auf Ihrem Prompt aus (unter Verwendung von NotDiamond) - Fallback-Modelle: Geben Sie mehrere Modelle an, die automatisch wiederholt werden, wenn das primäre Modell fehlschlägt
- Provider-Routing: Routet automatisch über verschiedene Anbieter für Zuverlässigkeit
Authentifizierung
- Verwendet Bearer-Token-Authentifizierung mit API-Schlüsseln
- API-Schlüssel können programmatisch verwaltet werden
- Kompatibel mit OpenAI SDK-Authentifizierungsmustern
Modell-Namenskonvention
Modelle verwenden das Format anbieter/modellname:
openai/gpt-4o- OpenAIs GPT-4 Optimiertanthropic/claude-3.5-sonnet- Anthropics Claude 3.5 Sonnetgoogle/gemini-2.0-flash-exp:free- Googles kostenloses Gemini-Modellopenrouter/auto- Auto-Routing-System
Sampling-Parameter
Temperatur (0.0-2.0, Standard: 1.0)
- Niedriger = vorhersagbarere, fokussiertere Antworten
- Höher = kreativere, vielfältigere Antworten
- Verwenden Sie niedrige Werte (0.0-0.3) für faktische Aufgaben, hohe Werte (0.8-1.5) für kreative Arbeit
Top P (0.0-1.0, Standard: 1.0)
- Begrenzt die Auswahl auf einen Prozentsatz wahrscheinlicher Tokens
- Dynamische Filterung unwahrscheinlicher Optionen
- Gleichgewicht zwischen Konsistenz und Vielfalt
Häufigkeits-/Präsenz-Strafen (-2.0-2.0, Standard: 0.0)
- Häufigkeit: Bestraft wiederholte Tokens proportional zur Nutzung
- Präsenz: Einfachere Strafe, nicht nach Anzahl skaliert
- Positive Werte reduzieren Wiederholungen, negative fördern Wiederverwendung
Max Tokens (Ganzzahl)
- Legt die maximale Antwortlänge fest
- Kann die Kontextlänge abzüglich der Promptlänge nicht überschreiten
- Verwenden Sie dies, um Kosten zu kontrollieren und prägnante Antworten zu erzwingen
Antwortformate
- Standard-JSON: Standard-Chat-Completion-Format
- Streaming: Server-Sent Events (SSE) mit
stream: true - JSON-Modus: Garantiert gültiges JSON mit
response_format: {"type": "json_object"} - Strukturierte Ausgaben: Schema-validierte JSON-Antworten
Erweiterte Funktionen
- Tool-/Funktionsaufrufe: Verbinden Sie Modelle mit externen APIs
- Multimodale Eingaben: Unterstützung für Bilder, PDFs, Audio
- Prompt-Caching: Reduzieren Sie Kosten für wiederholte Prompts
- Websuche-Integration: Verbesserte Antworten mit Webdaten
- Zero Completion Insurance: Schutz vor fehlgeschlagenen Antworten
- Logprobs: Zugriff auf Token-Wahrscheinlichkeiten für Konfidenzanalyse
Referenzdateien
Diese Skill enthält umfassende Dokumentation in references/:
- llms-full.md - Vollständige Liste der verfügbaren Modelle mit Metadaten
- llms-small.md - Kuratierte Auswahl beliebter Modelle
- llms.md - Standard-Modelllisten
Verwenden Sie view, um bestimmte Referenzdateien zu lesen, wenn detaillierte Modellinformationen benötigt werden.
Arbeiten mit dieser Skill
Für Anfänger
- Beginnen Sie mit den grundlegenden Chat-Completion-Beispielen (Python/JavaScript/cURL oben)
- Verwenden Sie das standardmäßige OpenAI SDK für einfache Integration
- Versuchen Sie einfache Modellnamen wie
openai/gpt-4ooderanthropic/claude-3.5-sonnet - Halten Sie Parameter zunächst einfach (nur Modell und Nachrichten)
Für fortgeschrittene Benutzer
- Implementieren Sie Modell-Fallback-Arrays für Zuverlässigkeit
- Experimentieren Sie mit Sampling-Parametern (Temperatur, top_p)
- Verwenden Sie Streaming für eine bessere Benutzererfahrung in Gesprächsanwendungen
- Probieren Sie
openrouter/autofür automatische Modellauswahl - Implementieren Sie den JSON-Modus für strukturierte Datenextraktion
Für erfahrene Benutzer
- Feintunen Sie mehrere Sampling-Parameter gleichzeitig
- Implementieren Sie benutzerdefinierte Routing-Logik mit Fallback-Ketten
- Verwenden Sie Logprobs für Konfidenzbewertung
- Nutzen Sie Tool-/Funktionsaufruf-Funktionen
- Optimieren Sie Kosten durch Auswahl geeigneter Modelle pro Aufgabe
- Implementieren Sie Prompt-Caching-Strategien
- Verwenden Sie den Seed-Parameter für reproduzierbare Tests
Häufige Muster
Fehlerbehandlung mit Fallbacks
try:
completion = client.chat.completions.create(
model="openai/gpt-4o",
extra_body={
"models": [
"anthropic/claude-3.5-sonnet",
"google/gemini-2.0-flash-exp:free"
]
},
messages=[{"role": "user", "content": "Ihr Prompt"}]
)
except Exception as e:
print(f"Alle Modelle fehlgeschlagen: {e}")
Kostenoptimiertes Routing
# Günstigere Modelle für einfache Aufgaben verwenden
einfach_completion = client.chat.completions.create(
model="google/gemini-2.0-flash-exp:free",
messages=[{"role": "user", "content": "Einfache Frage"}]
)
# Premium-Modelle für komplexe Aufgaben verwenden
komplex_completion = client.chat.completions.create(
model="openai/o1",
messages=[{"role": "user", "content": "Komplexe Denkaufgabe"}]
)
Kontextabhängige Temperatur
# Niedrige Temperatur für faktische Antworten
faktisch = client.chat.completions.create(
model="openai/gpt-4o",
temperature=0.2,
messages=[{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}]
)
# Hohe Temperatur für kreative Inhalte
kreativ = client.chat.completions.create(
model="openai/gpt-4o",
temperature=1.2,
messages=[{"role": "user", "content": "Schreibe einen einzigartigen Geschichtenanfang"}]
)
Ressourcen
Offizielle Dokumentation
- API-Referenz: https://openrouter.ai/docs/api-reference/overview
- Schnellstartanleitung: https://openrouter.ai/docs/quickstart
- Modellliste: https://openrouter.ai/docs/models
- Parameteranleitung: https://openrouter.ai/docs/api-reference/parameters
Wichtige Endpunkte
- Chat Completions:
POST https://openrouter.ai/api/v1/chat/completions - Modelle auflisten:
GET https://openrouter.ai/api/v1/models - Generierungsinfo:
GET https://openrouter.ai/api/v1/generation
Hinweise
- OpenRouter normalisiert API-Schemas über alle Anbieter hinweg
- Verwendet OpenAI-kompatibles API-Format für einfache Migration
- Automatischer Provider-Fallback, wenn Modelle ratenbegrenzt oder nicht verfügbar sind
- Preisgestaltung basierend auf dem tatsächlich verwendeten Modell (wichtig für Fallbacks)
- Antwort enthält Metadaten darüber, welches Modell die Anfrage verarbeitet hat
- Alle Modelle unterstützen Streaming über Server-Sent Events
- Kompatibel mit gängigen Frameworks (LangChain, Vercel AI SDK, usw.)
Best Practices
- Implementieren Sie immer Fallbacks für Produktionsanwendungen
- Verwenden Sie eine angemessene Temperatur basierend auf dem Aufgabentyp (niedrig für Fakten, hoch für Kreativität)
- Setzen Sie max_tokens, um Kosten und Antwortlänge zu kontrollieren
- Aktivieren Sie Streaming für eine bessere Benutzererfahrung in Chat-Anwendungen
- Verwenden Sie den JSON-Modus, wenn eine garantierte strukturierte Ausgabe benötigt wird
- Testen Sie mit dem Seed-Parameter für reproduzierbare Ergebnisse während der Entwicklung
- Überwachen Sie die Kosten, indem Sie geeignete Modelle pro Aufgabe auswählen
- Verwenden Sie Auto-Routing, wenn Sie unsicher sind, welches Modell am besten abschneidet
- Implementieren Sie eine ordnungsgemäße Fehlerbehandlung für Rate-Limits und Fehler
- Cachen Sie Prompts für wiederholte Anfragen, um Kosten zu senken