Communitygithub.com

TokenLab Cost Routing

Optimiert TokenLab-Kosten durch intelligentes Routing, Modellvergleiche und Fallback-Strategien basierend auf Qualität, Latenz und Budget.

Was ist TokenLab Cost Routing?

Diese Skill ermöglicht Entwicklern und KI-Agenten, TokenLab-Ausgaben zu optimieren, indem sie Workload-Anforderungen (Chat, Coding, Medien, Embeddings usw.) gegen öffentliche Modelldaten und Preisinformationen abgleicht. Sie erstellt eine kostensensitive Fallback-Kette mit primären Qualitätsmodellen, ausgewogenen Standardmodellen, schnellen Fallbacks und Budget-Fallback-Lösungen. Die Skill nutzt die öffentlichen API-Endpunkte von TokenLab (`/v1/models`, `/v1/models/:model/pricing`), um Echtzeit-Modellkataloge und Preise abzurufen, bevor sie Empfehlungen ausgibt. Sie unterstützt gängige Agentenplattformen wie Claude Code, Cursor und Codex und enthält Schutzmechanismen, um keine teureren Modelle zu empfehlen, wenn dies die Ausgabe, Sicherheit oder Anfragesemantik beeinträchtigen würde.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add hedging8563/tokenlab-skills

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht TokenLab Cost Routing?

Verwenden Sie diese Skill, wenn ein Benutzer fragt, wie TokenLab-Kosten gesenkt, Modellpreise verglichen, Fallbacks ausgewählt oder Anfragen nach Qualität, Latenz und Budget geroutet werden können.

Was diese Skill liefern soll

  • Eine kompakte Routing-Empfehlung mit exakten öffentlichen TokenLab-Modell-IDs.
  • Eine kostenbewusste Fallback-Kette für die Arbeitslast des Benutzers.
  • Ein Katalog-/Preisnachschlagepfad, der erneut ausgeführt werden kann.
  • Ein Hinweis, welche Endpunktfamilie jedes Modell verwenden sollte.
  • Schutzmechanismen, wann Modelle nicht gewechselt werden sollten, da dies die Ausgabe, Sicherheit oder Anfragesemantik verändern würde.

Bevorzugter Ansatz

  1. Identifizieren Sie die Arbeitslast und die Einschränkungen:
    • Chat, Coding, Agenten-Loop, Bild, Video, Audio, Embedding, Rerank, Übersetzung oder multimodal
    • Qualitätsuntergrenze
    • Latenzziel
    • Budget oder Kostenobergrenze
    • Native Endpunktanforderung
  2. Lesen Sie die öffentlichen Live-Katalogsignale, bevor Sie empfehlen:
    • GET https://api.tokenlab.sh/v1/models
    • GET https://api.tokenlab.sh/v1/models?recommended_for=<scene>
    • GET https://api.tokenlab.sh/v1/models/:model
    • GET https://api.tokenlab.sh/v1/models/:model/pricing
  3. Erstellen Sie eine Kette mit Rollen:
    • Primäres Qualitätsmodell
    • Ausgewogener Standard
    • Schnelles Fallback
    • Budget-Fallback
  4. Wenn der Benutzer nach genauen Kosten fragt, berechnen Sie diese aus den Live-Preisen und ihrer geschätzten Token-/Medienmenge. Geben Sie Einheiten und Annahmen an.
  5. Für Nicht-Chat-Anfragen überprüfen Sie die Modelldetails, bevor Sie Parameter oder die Endpunktfamilie ändern.

Ausgabeformat

  • Ein Satz, der Arbeitslast und Annahmen angibt.
  • Eine Tabelle mit Routenrolle, Modell-ID, Endpunkt, Warum und Wann zurückfallen.
  • Ein Katalogbefehl und ein Preisbefehl.
  • Eine kurze Implementierungsnotiz zu Wiederholungen, Ratenbegrenzungen und Benutzerfreigabe, wenn die Qualität sinken würde.

Vermeiden

  • Erfinden Sie keine Preise, Rabatte oder Modellanzahlen.
  • Wählen Sie kein günstigeres Modell, wenn dadurch erforderliches natives Verhalten, Tools, Medienunterstützung, Sicherheitseinschränkungen oder Garantien für strukturierte Ausgaben stillschweigend entfernt würden.
  • Legen Sie keine internen TokenLab-Kanal-, physischen Anbieter- oder Routing-Details offen.
  • Ändern Sie ein vom Benutzer bereitgestelltes Modell nicht in ein anderes Modell, ohne zu sagen, warum.
  • Hartcodieren Sie keine Fallback-Liste, ohne zu sagen, wann sie überprüft wurde oder wie sie aktualisiert werden kann.

Sonderfälle

  • Wenn Katalog- oder Preisendpunkte nicht verfügbar sind, sagen Sie, dass das Routing nicht preislich überprüft werden kann, und geben Sie nur ein Beispielmuster an.
  • Wenn der Benutzer nach „günstigsten“ fragt, schließen Sie Kompromisse bei Fähigkeiten und Zuverlässigkeit ein.
  • Wenn das Abrechnungsrisiko hoch ist, fordern Sie eine explizite Benutzerfreigabe, bevor Sie automatische Fallbacks zu kostenpflichtigen Medien-/Videoerstellung hinzufügen.

Verwandte Skills