chatgpt34993/llm-key-pool

Was macht llm-key-pool?

Mehrschichtiges Multi-Plattform-Tool zur Verwaltung von LLM-API-Schlüsseln mit Failover und automatischem Wechsel, verpackt als Agenten-Fähigkeit.

Übersicht

Dieses Skill verwaltet einen Pool von API-Schlüsseln für verschiedene Large Language Model (LLM)-Anbieter. Es bietet automatischen Failover und Lastverteilung über mehrere Schlüssel, um Ausfallzeiten zu minimieren und die Nutzung der API-Ratenbegrenzungen zu optimieren.

Funktionen

• Failover-Mechanismus: Wechselt automatisch zu Backup-Schlüsseln, wenn ein primärer Schlüssel fehlschlägt oder sein Ratengrenzwert erreicht ist.
• Schlüsselverwaltung: Unterstützt mehrere Prioritätsstufen (primär, sekundär, Backup) für jeden Anbieter.
• Plattformunterstützung: Funktioniert mit einer Vielzahl von LLM-Anbietern, einschließlich OpenAI, Anthropic, Azure und anderen.
• Integration: Kann als Agenten-Fähigkeit (z. B. für Claude Code, Cursor, Codex) und über das Kommandozeilenwerkzeug llm-key-pool verwendet werden.

Voraussetzungen

• Python 3.8 oder höher
• pip (Python-Paketmanager)
• API-Schlüssel für die gewünschten LLM-Anbieter

Installation

Das Skill kann über pip installiert werden:

pip install llm-key-pool

Alternativ kann es aus dem Quellcode installiert werden:

git clone https://github.com/chatgpt34993/llm-key-pool.git
cd llm-key-pool
pip install -r requirements.txt

Konfiguration

Erstellen Sie eine Konfigurationsdatei key_pool.yaml in Ihrem Projektverzeichnis. Ein Beispiel:

anbieter:
  openai:
    schlüssel:
      - api_key: "sk-..."
        priorität: 1
      - api_key: "sk-..."
        priorität: 2
  anthropic:
    schlüssel:
      - api_key: "sk-ant-..."
        priorität: 1

failover:
  timeout: 5
  max_versuche: 3

Verwendung

Als Agenten-Fähigkeit

Importieren und initialisieren Sie das Skill in Ihrem Agenten-Code:

from llm_key_pool import LLMKeyPool

pool = LLMKeyPool("key_pool.yaml")
schlüssel = pool.hole_schlüssel("openai")
# Verwenden Sie den Schlüssel für API-Aufrufe

Über die Kommandozeile

llm-key-pool get-key --anbieter openai

Unterstützung

Bei Problemen öffnen Sie bitte ein Issue im GitHub-Repository.

Lizenz

MIT