Was macht TokenLab Cost Routing?
Verwenden Sie diese Skill, wenn ein Benutzer fragt, wie TokenLab-Kosten gesenkt, Modellpreise verglichen, Fallbacks ausgewählt oder Anfragen nach Qualität, Latenz und Budget geroutet werden können.
Was diese Skill liefern soll
- Eine kompakte Routing-Empfehlung mit exakten öffentlichen TokenLab-Modell-IDs.
- Eine kostenbewusste Fallback-Kette für die Arbeitslast des Benutzers.
- Ein Katalog-/Preisnachschlagepfad, der erneut ausgeführt werden kann.
- Ein Hinweis, welche Endpunktfamilie jedes Modell verwenden sollte.
- Schutzmechanismen, wann Modelle nicht gewechselt werden sollten, da dies die Ausgabe, Sicherheit oder Anfragesemantik verändern würde.
Bevorzugter Ansatz
- Identifizieren Sie die Arbeitslast und die Einschränkungen:
- Chat, Coding, Agenten-Loop, Bild, Video, Audio, Embedding, Rerank, Übersetzung oder multimodal
- Qualitätsuntergrenze
- Latenzziel
- Budget oder Kostenobergrenze
- Native Endpunktanforderung
- Lesen Sie die öffentlichen Live-Katalogsignale, bevor Sie empfehlen:
GET https://api.tokenlab.sh/v1/modelsGET https://api.tokenlab.sh/v1/models?recommended_for=<scene>GET https://api.tokenlab.sh/v1/models/:modelGET https://api.tokenlab.sh/v1/models/:model/pricing
- Erstellen Sie eine Kette mit Rollen:
- Primäres Qualitätsmodell
- Ausgewogener Standard
- Schnelles Fallback
- Budget-Fallback
- Wenn der Benutzer nach genauen Kosten fragt, berechnen Sie diese aus den Live-Preisen und ihrer geschätzten Token-/Medienmenge. Geben Sie Einheiten und Annahmen an.
- Für Nicht-Chat-Anfragen überprüfen Sie die Modelldetails, bevor Sie Parameter oder die Endpunktfamilie ändern.
Ausgabeformat
- Ein Satz, der Arbeitslast und Annahmen angibt.
- Eine Tabelle mit
Routenrolle,Modell-ID,Endpunkt,WarumundWann zurückfallen. - Ein Katalogbefehl und ein Preisbefehl.
- Eine kurze Implementierungsnotiz zu Wiederholungen, Ratenbegrenzungen und Benutzerfreigabe, wenn die Qualität sinken würde.
Vermeiden
- Erfinden Sie keine Preise, Rabatte oder Modellanzahlen.
- Wählen Sie kein günstigeres Modell, wenn dadurch erforderliches natives Verhalten, Tools, Medienunterstützung, Sicherheitseinschränkungen oder Garantien für strukturierte Ausgaben stillschweigend entfernt würden.
- Legen Sie keine internen TokenLab-Kanal-, physischen Anbieter- oder Routing-Details offen.
- Ändern Sie ein vom Benutzer bereitgestelltes Modell nicht in ein anderes Modell, ohne zu sagen, warum.
- Hartcodieren Sie keine Fallback-Liste, ohne zu sagen, wann sie überprüft wurde oder wie sie aktualisiert werden kann.
Sonderfälle
- Wenn Katalog- oder Preisendpunkte nicht verfügbar sind, sagen Sie, dass das Routing nicht preislich überprüft werden kann, und geben Sie nur ein Beispielmuster an.
- Wenn der Benutzer nach „günstigsten“ fragt, schließen Sie Kompromisse bei Fähigkeiten und Zuverlässigkeit ein.
- Wenn das Abrechnungsrisiko hoch ist, fordern Sie eine explizite Benutzerfreigabe, bevor Sie automatische Fallbacks zu kostenpflichtigen Medien-/Videoerstellung hinzufügen.