O que TokenLab Cost Routing faz?
Use este skill quando um usuário perguntar como reduzir o custo do TokenLab, comparar preços de modelos, escolher fallbacks ou rotear requisições por qualidade, latência e orçamento.
O que este skill deve entregar
- Uma recomendação de roteamento compacta com IDs exatos de modelos públicos da TokenLab.
- Uma cadeia de fallback ciente de custos para a carga de trabalho do usuário.
- Um caminho de consulta de catálogo/preços que pode ser reexecutado.
- Uma nota sobre qual família de endpoint cada modelo deve usar.
- Salvaguardas para quando não trocar de modelo, pois fazer isso alteraria a saída, segurança ou semântica da requisição.
Abordagem preferida
- Identificar a carga de trabalho e as restrições:
- chat, codificação, loop de agente, imagem, vídeo, áudio, embedding, rerank, tradução ou multimodal
- piso de qualidade
- alvo de latência
- orçamento ou teto de custo
- requisito de endpoint nativo
- Ler sinais públicos do catálogo em tempo real antes de recomendar:
GET https://api.tokenlab.sh/v1/modelsGET https://api.tokenlab.sh/v1/models?recommended_for=<scene>GET https://api.tokenlab.sh/v1/models/:modelGET https://api.tokenlab.sh/v1/models/:model/pricing
- Construir uma cadeia com papéis:
- modelo de qualidade primária
- padrão balanceado
- fallback rápido
- fallback econômico
- Se o usuário perguntar o custo exato, calcular a partir dos preços em tempo real e do volume estimado de tokens/mídia. Declarar unidades e suposições.
- Para requisições que não sejam de chat, inspecionar os detalhes do modelo antes de alterar parâmetros ou família de endpoint.
Formato de saída
- Uma frase declarando a carga de trabalho e as suposições.
- Uma tabela com
Papel na rota,ID do modelo,Endpoint,Por quêeQuando fazer fallback. - Um comando de catálogo e um comando de preços.
- Uma nota curta de implementação sobre retentativas, limites de taxa e aprovação do usuário quando a qualidade cair.
Evitar
- Não inventar preços, descontos ou contagens de modelos.
- Não escolher um modelo mais barato se isso remover silenciosamente comportamento nativo necessário, ferramentas, suporte a mídia, restrições de segurança ou garantias de saída estruturada.
- Não expor detalhes internos de canal, provedor físico ou roteamento da TokenLab.
- Não transformar um modelo fornecido pelo usuário em um modelo diferente sem dizer o porquê.
- Não fixar uma lista de fallback sem dizer quando foi verificada ou como atualizá-la.
Casos extremos
- Se os endpoints de catálogo ou preços estiverem indisponíveis, dizer que o roteamento não pode ser verificado por preço e fornecer apenas um padrão de exemplo.
- Se o usuário perguntar pelo "mais barato", incluir compensações de capacidade e confiabilidade.
- Se o risco de faturamento for alto, exigir aprovação explícita do usuário antes de adicionar fallback automático para geração de mídia/vídeo paga.