SamuelChien/mega-skills-collection

Flujo de Trabajo de Optimización del Rendimiento de Agentes

Mejora sistemática de agentes existentes mediante análisis de rendimiento, ingeniería de prompts e iteración continua.

[Pensamiento extendido: La optimización de agentes requiere un enfoque basado en datos que combine métricas de rendimiento, análisis de retroalimentación de usuarios y técnicas avanzadas de ingeniería de prompts. El éxito depende de la evaluación sistemática, mejoras específicas y pruebas rigurosas con capacidad de reversión para la seguridad en producción.]

Utiliza este skill cuando

• Estés mejorando el rendimiento o la fiabilidad de un agente existente
• Estés analizando modos de fallo, calidad de prompts o uso de herramientas
• Estés ejecutando pruebas A/B estructuradas o suites de evaluación
• Estés diseñando flujos de trabajo iterativos de optimización para agentes

No utilices este skill cuando

• Estés construyendo un agente completamente nuevo desde cero
• No haya métricas, retroalimentación o casos de prueba disponibles
• La tarea no esté relacionada con el rendimiento del agente o la calidad de los prompts

Instrucciones

1. Establece métricas base y recopila ejemplos representativos.
2. Identifica modos de fallo y prioriza correcciones de alto impacto.
3. Aplica mejoras de prompts y flujo de trabajo con objetivos medibles.
4. Valida con pruebas e implementa cambios en etapas controladas.

Seguridad

• Evita implementar cambios en prompts sin pruebas de regresión.
• Revierte rápidamente si las métricas de calidad o seguridad empeoran.

Fase 1: Análisis de Rendimiento y Métricas Base

Análisis integral del rendimiento del agente utilizando context-manager para la recopilación de datos históricos.

1.1 Recolectar Datos de Rendimiento

Usar: context-manager
Comando: analyze-agent-performance $ARGUMENTS --days 30

Recopila métricas que incluyen:

• Tasa de finalización de tareas (tareas exitosas vs. fallidas)
• Precisión de respuestas y corrección fáctica
• Eficiencia en el uso de herramientas (herramientas correctas, frecuencia de llamadas)
• Tiempo medio de respuesta y consumo de tokens
• Indicadores de satisfacción del usuario (correcciones, reintentos)
• Incidentes de alucinación y patrones de error

1.2 Análisis de Patrones de Retroalimentación del Usuario

Identifica patrones recurrentes en las interacciones del usuario:

• Patrones de corrección: Donde los usuarios modifican las salidas de manera consistente
• Solicitudes de aclaración: Áreas comunes de ambigüedad
• Abandono de tareas: Puntos donde los usuarios se rinden
• Preguntas de seguimiento: Indicadores de respuestas incompletas
• Retroalimentación positiva: Patrones exitosos a preservar

1.3 Clasificación de Modos de Fallo

Categoriza los fallos por causa raíz:

• Malentendido de instrucciones: Confusión de rol o tarea
• Errores de formato de salida: Problemas de estructura o formato
• Pérdida de contexto: Degradación en conversaciones largas
• Uso incorrecto de herramientas: Selección incorrecta o ineficiente de herramientas
• Violaciones de restricciones: Infracciones de reglas de seguridad o negocio
• Manejo de casos límite: Escenarios de entrada inusuales

1.4 Informe de Rendimiento Base

Genera métricas base cuantitativas:

Línea Base de Rendimiento:
- Tasa de Éxito de Tareas: [X%]
- Correcciones Promedio por Tarea: [Y]
- Eficiencia de Llamadas a Herramientas: [Z%]
- Puntuación de Satisfacción del Usuario: [1-10]
- Latencia Promedio de Respuesta: [Xms]
- Proporción de Eficiencia de Tokens: [X:Y]

Fase 2: Mejoras en la Ingeniería de Prompts

Aplica técnicas avanzadas de optimización de prompts utilizando el agente prompt-engineer.

2.1 Mejora de la Cadena de Pensamiento

Implementa patrones de razonamiento estructurados:

Usar: prompt-engineer
Técnica: chain-of-thought-optimization

• Agrega pasos de razonamiento explícitos: "Abordemos esto paso a paso..."
• Incluye puntos de verificación de autoevaluación: "Antes de continuar, verifica que..."
• Implementa descomposición recursiva para tareas complejas
• Agrega visibilidad del rastro de razonamiento para depuración

2.2 Optimización de Ejemplos de Pocos Disparos

Selecciona ejemplos de alta calidad a partir de interacciones exitosas:

• Selecciona ejemplos diversos que cubran casos de uso comunes
• Incluye casos límite que fallaron anteriormente
• Muestra ejemplos tanto positivos como negativos con explicaciones
• Ordena los ejemplos de simples a complejos
• Anota los ejemplos con puntos clave de decisión

Estructura de ejemplo:

Buen Ejemplo:
Entrada: [Solicitud del usuario]
Razonamiento: [Proceso de pensamiento paso a paso]
Salida: [Respuesta exitosa]
Por qué funciona: [Factores clave de éxito]

Mal Ejemplo:
Entrada: [Solicitud similar]
Salida: [Respuesta fallida]
Por qué falla: [Problemas específicos]
Enfoque correcto: [Versión corregida]

2.3 Refinamiento de la Definición del Rol

Fortalece la identidad y capacidades del agente:

• Propósito central: Misión clara en una sola oración
• Dominios de experiencia: Áreas de conocimiento específicas
• Rasgos de comportamiento: Personalidad y estilo de interacción
• Competencia en herramientas: Herramientas disponibles y cuándo usarlas
• Restricciones: Lo que el agente NO debe hacer
• Criterios de éxito: Cómo medir la finalización de la tarea

2.4 Integración de IA Constitucional

Implementa mecanismos de autocorrección:

Principios Constitucionales:
1. Verificar la precisión fáctica antes de responder
2. Autoevaluar posibles sesgos o contenido dañino
3. Validar que el formato de salida cumpla con los requisitos
4. Asegurar la integridad de la respuesta
5. Mantener la coherencia con respuestas anteriores

Agrega bucles de crítica y revisión:

• Generación inicial de respuesta
• Autocrítica basada en principios
• Revisión automática si se detectan problemas
• Validación final antes de la salida

2.5 Ajuste del Formato de Salida

Optimiza la estructura de la respuesta:

• Plantillas estructuradas para tareas comunes
• Formato dinámico basado en la complejidad
• Divulgación progresiva para información detallada
• Optimización de Markdown para legibilidad
• Formato de bloques de código con resaltado de sintaxis
• Generación de tablas y listas para presentación de datos

Fase 3: Pruebas y Validación

Marco de pruebas integral con comparación A/B.

3.1 Desarrollo de Suites de Pruebas

Crea escenarios de prueba representativos:

Categorías de Prueba:
1. Escenarios de ruta dorada (casos exitosos comunes)
2. Tareas previamente fallidas (pruebas de regresión)
3. Casos límite y escenarios extremos
4. Pruebas de estrés (tareas complejas de múltiples pasos)
5. Entradas adversariales (posibles puntos de ruptura)
6. Tareas interdominio (combinando capacidades)

3.2 Marco de Pruebas A/B

Compara el agente original vs. el mejorado:

Usar: parallel-test-runner
Config:
  - Agente A: Versión original
  - Agente B: Versión mejorada
  - Conjunto de prueba: 100 tareas representativas
  - Métricas: Tasa de éxito, velocidad, uso de tokens
  - Evaluación: Revisión humana ciega + puntuación automatizada

Pruebas de significación estadística:

• Tamaño mínimo de muestra: 100 tareas por variante
• Nivel de confianza: 95% (p < 0.05)
• Cálculo del tamaño del efecto (d de Cohen)
• Análisis de potencia para pruebas futuras

3.3 Métricas de Evaluación

Marco de puntuación integral:

Métricas a Nivel de Tarea:

• Tasa de finalización (éxito/fracaso binario)
• Puntuación de corrección (precisión 0-100%)
• Puntuación de eficiencia (pasos tomados vs. óptimos)
• Adecuación del uso de herramientas
• Relevancia e integridad de la respuesta

Métricas de Calidad:

• Tasa de alucinación (errores fácticos por respuesta)
• Puntuación de coherencia (alineación con respuestas anteriores)
• Cumplimiento de formato (coincide con la estructura especificada)
• Puntuación de seguridad (adherencia a restricciones)
• Predicción de satisfacción del usuario

Métricas de Rendimiento:

• Latencia de respuesta (tiempo hasta el primer token)
• Tiempo total de generación
• Consumo de tokens (entrada + salida)
• Costo por tarea (tarifas de uso de API)
• Eficiencia de memoria/contexto

3.4 Protocolo de Evaluación Humana

Proceso de revisión humana estructurado:

• Evaluación ciega (los evaluadores no conocen la versión)
• Rúbrica estandarizada con criterios claros
• Múltiples evaluadores por muestra (fiabilidad entre evaluadores)
• Recopilación de retroalimentación cualitativa
• Clasificación de preferencias (comparación A vs B)

Fase 4: Control de Versiones e Implementación

Despliegue seguro con monitoreo y capacidad de reversión.

4.1 Gestión de Versiones

Estrategia de versionado sistemático:

Formato de Versión: nombre-agente-v[MAJOR].[MINOR].[PATCH]
Ejemplo: customer-support-v2.3.1

MAJOR: Cambios significativos en capacidades
MINOR: Mejoras de prompts, nuevos ejemplos
PATCH: Correcciones de errores, ajustes menores

Mantener el historial de versiones:

• Almacenamiento de prompts basado en Git
• Registro de cambios con detalles de mejora
• Métricas de rendimiento por versión
• Procedimientos de reversión documentados

4.2 Despliegue por Etapas

Estrategia de implementación progresiva:

1. Pruebas Alfa: Validación del equipo interno (5% del tráfico)
2. Pruebas Beta: Usuarios seleccionados (20% del tráfico)
3. Lanzamiento Canario: Aumento gradual (20% → 50% → 100%)
4. Despliegue Completo: Después de cumplir los criterios de éxito
5. Período de Monitoreo: Ventana de observación de 7 días

4.3 Procedimientos de Reversión

Mecanismo de recuperación rápida:

Disparadores de Reversión:
- La tasa de éxito cae >10% respecto a la línea base
- Los errores críticos aumentan >5%
- Aumentan las quejas de los usuarios
- El costo por tarea aumenta >20%
- Se detectan violaciones de seguridad

Proceso de Reversión:
1. Detectar problema mediante monitoreo
2. Alertar al equipo inmediatamente
3. Cambiar a la versión estable anterior
4. Analizar la causa raíz
5. Corregir y volver a probar antes de reintentar

4.4 Monitoreo Continuo

Seguimiento del rendimiento en tiempo real:

• Panel de control con métricas clave
• Alertas de detección de anomalías
• Recopilación de retroalimentación del usuario
• Pruebas de regresión automatizadas
• Informes de rendimiento semanales

Criterios de Éxito

La mejora del agente es exitosa cuando:

• La tasa de éxito de las tareas mejora en ≥15%
• Las correcciones del usuario disminuyen en ≥25%
• No hay aumento en las violaciones de seguridad
• El tiempo de respuesta se mantiene dentro del 10% de la línea base
• El costo por tarea no aumenta >5%
• Aumenta la retroalimentación positiva del usuario

Revisión Posterior al Despliegue

Después de 30 días de uso en producción:

1. Analizar los datos de rendimiento acumulados
2. Comparar con la línea base y los objetivos
3. Identificar nuevas oportunidades de mejora
4. Documentar las lecciones aprendidas
5. Planificar el siguiente ciclo de optimización

Ciclo de Mejora Continua

Establecer una cadencia regular de mejora:

• Semanal: Monitorear métricas y recopilar retroalimentación
• Mensual: Analizar patrones y planificar mejoras
• Trimestral: Actualizaciones mayores de versión con nuevas capacidades
• Anual: Revisión estratégica y actualizaciones de arquitectura

Recuerda: La optimización de agentes es un proceso iterativo. Cada ciclo se basa en aprendizajes anteriores, mejorando gradualmente el rendimiento mientras se mantiene la estabilidad y la seguridad.

Limitaciones

• Utiliza este skill solo cuando la tarea coincida claramente con el alcance descrito anteriormente.
• No trates la salida como un sustituto de la validación, pruebas o revisión de expertos específicos del entorno.
• Detente y pide aclaraciones si faltan entradas requeridas, permisos, límites de seguridad o criterios de éxito.