¿Qué hace observability-llm-obs?
Monitorea LLMs y aplicaciones agentivas: rendimiento, tokens/coste, calidad de respuesta y orquestación de flujos de trabajo. Utilízala cuando el usuario pregunte sobre monitoreo de LLM, observabilidad GenAI o coste/calidad de IA.
Descripción general
Esta habilidad permite monitorear y optimizar aplicaciones basadas en modelos de lenguaje grande (LLM) y sistemas de agentes de IA. Proporciona visibilidad sobre:
- Rendimiento: Tiempos de respuesta, latencia y throughput de las solicitudes.
- Tokens y costes: Consumo de tokens y costes asociados por solicitud o por sesión.
- Calidad de respuesta: Precisión, relevancia y coherencia de las salidas generadas.
- Orquestación de flujos de trabajo: Seguimiento de llamadas a modelos, herramientas y decisiones de los agentes.
Plataformas compatibles
- Elastic Observability
- OpenAI, Anthropic, modelos open-source (como Llama, Mistral)
- Frameworks de agentes: LangChain, LlamaIndex, AutoGen
Cómo usar
- Activa la habilidad en tu agente (ej. Claude Code, Cursor).
- Pregunta sobre monitoreo de LLM o problemas de rendimiento.
- La habilidad analizará las métricas disponibles y te proporcionará recomendaciones.
Ejemplos de uso
Usuario: "¿Por qué mi coste de API está aumentando?"
Agente: "Analizando las métricas... Detecté que el número de tokens de salida se ha duplicado en los últimos días. Recomiendo revisar las políticas de longitud máxima."
Configuración
Asegúrate de que tu instancia de Elastic Observability tenga acceso a los logs y métricas de tus LLM. La habilidad se conecta automáticamente a los endpoints configurados.