Enrutamiento de Costos TokenLab
Usa esta habilidad cuando un usuario pregunte cómo reducir el costo de TokenLab, comparar precios de modelos, elegir respaldos o enrutar solicitudes según calidad, latencia y presupuesto.
Lo que esta habilidad debe proporcionar
- Una recomendación de enrutamiento compacta con IDs exactos de modelos públicos de TokenLab.
- Una cadena de respaldo consciente de costos para la carga de trabajo del usuario.
- Una ruta de consulta de catálogo/precios que se pueda reutilizar.
- Una nota sobre qué familia de endpoint debe usar cada modelo.
- Guardarraíles para cuándo no cambiar modelos porque hacerlo alteraría la salida, seguridad o semántica de la solicitud.
Enfoque preferido
- Identificar la carga de trabajo y las restricciones:
- chat, codificación, bucle de agente, imagen, video, audio, embedding, rerank, traducción o multimodal
- piso de calidad
- objetivo de latencia
- presupuesto o límite de costo
- requisito de endpoint nativo
- Leer señales públicas del catálogo en vivo antes de recomendar:
GET https://api.tokenlab.sh/v1/modelsGET https://api.tokenlab.sh/v1/models?recommended_for=<escena>GET https://api.tokenlab.sh/v1/models/:modelGET https://api.tokenlab.sh/v1/models/:model/pricing
- Construir una cadena con roles:
- modelo primario de calidad
- predeterminado equilibrado
- respaldo rápido
- respaldo económico
- Si el usuario solicita el costo exacto, calcular desde los precios en vivo y su volumen estimado de tokens/medios. Indicar unidades y supuestos.
- Para solicitudes que no sean de chat, inspeccionar los detalles del modelo antes de cambiar parámetros o la familia de endpoint.
Formato de salida
- Una oración que indique la carga de trabajo y los supuestos.
- Una tabla con
Rol de ruta,ID del modelo,Endpoint,Por qué, yCuándo respaldar. - Un comando de catálogo y un comando de precios.
- Una nota corta de implementación sobre reintentos, límites de velocidad y aprobación del usuario cuando la calidad baje.
Evitar
- No inventar precios, descuentos ni conteos de modelos.
- No elegir un modelo más barato si eso eliminaría silenciosamente el comportamiento nativo requerido, herramientas, soporte de medios, restricciones de seguridad o garantías de salida estructurada.
- No exponer detalles internos del canal, proveedor físico o enrutamiento de TokenLab.
- No convertir un modelo proporcionado por el usuario en un modelo diferente sin decir por qué.
- No codificar una lista de respaldo sin indicar cuándo fue verificada o cómo actualizarla.
Casos extremos
- Si los endpoints de catálogo o precios no están disponibles, indicar que el enrutamiento no puede verificarse por precio y proporcionar solo un patrón de ejemplo.
- Si el usuario pregunta por "el más barato", incluir las compensaciones de capacidad y confiabilidad.
- Si el riesgo de facturación es alto, requerir aprobación explícita del usuario antes de agregar respaldo automático a generación de medios/video de pago.