SamuelChien/mega-skills-collection

Evaluación Avanzada

Esta habilidad cubre técnicas de grado de producción para evaluar salidas de LLM utilizando LLMs como jueces. Sintetiza investigación de artículos académicos, prácticas de la industria y experiencia práctica de implementación en patrones accionables para construir sistemas de evaluación confiables.

Información clave: LLM-como-Juez no es una técnica única, sino una familia de enfoques, cada uno adecuado para diferentes contextos de evaluación. Elegir el enfoque correcto y mitigar los sesgos conocidos es la competencia central que desarrolla esta habilidad.

Cuándo activar

Activa esta habilidad cuando:

• Construyas sistemas LLM-como-juez para salidas de LLM
• Compare múltiples respuestas de modelo para seleccionar la mejor
• Establezcas estándares de calidad consistentes en equipos de evaluación
• Depures sistemas de evaluación que muestren resultados inconsistentes
• Diseñes pruebas A/B para cambios de prompt o modelo
• Crear rúbricas específicamente para jueces LLM o híbridos humano/LLM
• Analices la correlación entre juicios automatizados y humanos

No actives esta habilidad para trabajo adyacente propiedad de otras habilidades:

• Comprobaciones deterministas generales, suites de regresión, puertas de calidad de producción o métricas de resultado: evaluation.
• Gobernanza de bucle autónomo, rúbricas bloqueadas, reversión o límites de aprobación de PR: harness-engineering.
• Contratos de API de herramientas para herramientas de evaluación: tool-design.

Conceptos centrales

La taxonomía de evaluación

Selecciona entre dos enfoques principales según si existe una verdad fundamental:

Puntuación directa — Usa cuando existan criterios objetivos (precisión factual, seguimiento de instrucciones, toxicidad). Un solo LLM califica una respuesta en una escala definida. Logra una confiabilidad de moderada a alta para criterios bien definidos. Vigila la deriva de la calibración de puntuación y la interpretación inconsistente de la escala.

Comparación por pares — Usa para preferencias subjetivas (tono, estilo, capacidad de persuasión). Un LLM compara dos respuestas y selecciona la mejor. Los métodos por pares a menudo se correlacionan mejor con la preferencia humana que la puntuación directa abierta para tareas subjetivas (claim-advanced-evaluation-position-swap). Vigila el sesgo de posición y el sesgo de longitud.

El panorama de sesgos

Mitiga estos sesgos sistemáticos en cada sistema de evaluación:

Sesgo de posición: Las respuestas en primera posición reciben trato preferencial. Mitígalo evaluando dos veces con posiciones intercambiadas, luego aplica voto mayoritario o verificación de consistencia.

Sesgo de longitud: Las respuestas más largas obtienen una puntuación más alta independientemente de la calidad. Mitígalo indicando explícitamente que ignoren la longitud y aplicando puntuación normalizada por longitud.

Sesgo de auto-mejora: Los modelos califican sus propias salidas más alto. Mitígalo usando diferentes modelos para generación y evaluación.

Sesgo de verbosidad: El detalle excesivo obtiene una puntuación más alta incluso cuando es innecesario. Mitígalo con rúbricas de criterios específicos que penalicen el detalle irrelevante.

Sesgo de autoridad: El tono seguro obtiene una puntuación más alta independientemente de la precisión. Mitígalo requiriendo citas de evidencia y añadiendo una capa de verificación de hechos.

Marco de selección de métricas

Empareja las métricas con la estructura de la tarea de evaluación:

Tipo de tarea	Métricas primarias	Métricas secundarias
Clasificación binaria (aprobado/reprobado)	Recuperación, Precisión, F1	Kappa de Cohen
Escala ordinal (calificación 1-5)	Rho de Spearman, Tau de Kendall	Kappa de Cohen (ponderado)
Preferencia por pares	Tasa de acuerdo, Consistencia de posición	Calibración de confianza
Multietiqueta	Macro-F1, Micro-F1	Precisión/recuperación por etiqueta

Prioriza los patrones de desacuerdo sistemático sobre las tasas de acuerdo absolutas porque un juez que consistentemente está en desacuerdo con los humanos en criterios específicos es más problemático que uno con ruido aleatorio.

Enfoques de evaluación

Implementación de puntuación directa

Construye puntuación directa con tres componentes: criterio claro, una escala calibrada y un formato de salida estructurado.

Patrón de definición de criterio:

Criterio: [Nombre]
Descripción: [Qué mide este criterio]
Peso: [Importancia relativa, 0-1]

Calibración de escala — Elige la granularidad de escala según el detalle de la rúbrica:

• 1-3: Binario con opción neutral, menor carga cognitiva
• 1-5: Likert estándar, mejor equilibrio de granularidad y confiabilidad
• 1-10: Usar solo con rúbricas detalladas por nivel porque la calibración es más difícil

Estructura de prompt para puntuación directa:

Eres un evaluador experto evaluando la calidad de la respuesta.

## Tarea
Evalúa la siguiente respuesta contra cada criterio.

## Prompt original
{prompt}

## Respuesta a evaluar
{response}

## Criterios
{for each criterion: name, description, weight}

## Instrucciones
Para cada criterio:
1. Encuentra evidencia específica en la respuesta
2. Puntúa según la rúbrica (escala 1-{max})
3. Justifica tu puntuación con evidencia
4. Sugiere una mejora específica

## Formato de salida
Responde con JSON estructurado que contenga puntuaciones, justificaciones y resumen.

Requerir evidencia antes de la puntuación en los prompts de puntuación para que el juez deba anclar su decisión en características de salida observables antes de emitir un número.

Implementación de comparación por pares

Aplica mitigación de sesgo de posición en cada evaluación por pares:

1. Ejecuta comprobaciones previas deterministas primero: ambos candidatos deben satisfacer el mismo esquema, requisitos de evidencia fuente y restricciones de alcance.
2. Primera pasada del juez: Respuesta A en primera posición, Respuesta B en segunda.
3. Segunda pasada del juez: Respuesta B en primera posición, Respuesta A en segunda.
4. Verificación de consistencia: Si las pasadas no están de acuerdo, devuelve EMPATE con confianza reducida.
5. Veredicto final: Ganador consistente con confianza promediada y justificación explícita de desempate.

Estructura de prompt para comparación por pares:

Eres un evaluador experto comparando dos respuestas de IA.

## Instrucciones críticas
- NO prefieras respuestas porque son más largas
- NO prefieras respuestas según la posición (primera vs segunda)
- Concéntrate SOLO en la calidad según los criterios especificados
- Los empates son aceptables cuando las respuestas son genuinamente equivalentes

## Prompt original
{prompt}

## Respuesta A
{response_a}

## Respuesta B
{response_b}

## Criterios de comparación
{criteria list}

## Instrucciones
1. Analiza cada respuesta de forma independiente primero
2. Compáralas en cada criterio
3. Determina el ganador general con nivel de confianza

## Formato de salida
JSON con comparación por criterio, ganador general, confianza (0-1) y razonamiento.

Calibración de confianza — Asigna la confianza a la consistencia de posición:

• Ambas pasadas están de acuerdo: confianza = promedio de las confianzas individuales
• Las pasadas no están de acuerdo: confianza = 0.5, veredicto = EMPATE

Generación de rúbricas

Genera rúbricas para reducir la varianza de evaluación en comparación con la puntuación abierta. Trata la reducción de varianza exacta como específica de la carga de trabajo a menos que se mida en el conjunto de evaluación objetivo.

Incluye estos componentes de rúbrica:

1. Descripciones de nivel: Límites claros para cada nivel de puntuación
2. Características: Características observables que definen cada nivel
3. Ejemplos: Texto representativo para cada nivel (opcional pero valioso)
4. Casos límite: Orientación para situaciones ambiguas
5. Pautas de puntuación: Principios generales para una aplicación consistente

Establece la calibración de rigor para el caso de uso:

• Indulgente: Barra de aprobación más baja, apropiada para fomentar la iteración
• Equilibrado: Expectativas típicas de producción
• Estricto: Altos estándares para evaluación crítica de seguridad o de alto riesgo

Adapta las rúbricas al dominio: usa terminología específica del dominio. Una rúbrica de legibilidad de código menciona variables, funciones y comentarios. Una rúbrica de precisión médica hace referencia a terminología clínica y estándares de evidencia.

Guía práctica

Diseño de pipeline de evaluación

Construye sistemas de evaluación de producción con estas capas: Cargador de criterios (rúbricas + pesos) -> Puntuador primario (directo o por pares) -> Mitigación de sesgo (intercambio de posición, etc.) -> Puntuación de confianza (calibración) -> Salida (puntuaciones + justificaciones + confianza). Consulta Diagrama de pipeline de evaluación para el diseño visual completo.

Marco de decisión: Directo vs. Por pares

Aplica este árbol de decisión:

¿Existe una verdad fundamental objetiva?
+-- Sí -> Puntuación directa
|   Ejemplos: precisión factual, seguimiento de instrucciones, cumplimiento de formato
|
+-- No -> ¿Es un juicio de preferencia o calidad?
    +-- Sí -> Comparación por pares
    |   Ejemplos: tono, estilo, capacidad de persuasión, creatividad
    |
    +-- No -> Considera la evaluación basada en referencia
        Ejemplos: resumen (comparar con fuente), traducción (comparar con referencia)

Escalado de la evaluación

Para evaluación de alto volumen, aplica una de estas estrategias:

1. Panel de LLMs (PoLL): Usa múltiples modelos como jueces y agrega votos para reducir el sesgo de modelo individual. Más caro pero más confiable para decisiones de alto riesgo.

2. Evaluación jerárquica: Usa un modelo rápido y barato para el cribado y un modelo caro para casos límite. Requiere calibración del umbral de cribado.

3. Supervisión humana: Automatiza casos claros y dirige decisiones de baja confianza a revisión humana. Diseña bucles de retroalimentación para mejorar la evaluación automatizada con el tiempo.

Ejemplos

Ejemplo 1: Puntuación directa para precisión

Entrada:

Prompt: "¿Qué causa las estaciones en la Tierra?"
Respuesta: "Las estaciones son causadas por el eje inclinado de la Tierra. Mientras la Tierra orbita el Sol,
diferentes hemisferios reciben luz solar más directa en diferentes épocas del año."
Criterio: Precisión factual (peso: 1.0)
Escala: 1-5

Salida:

{
  "criterion": "Precisión factual",
  "score": 5,
  "evidence": [
    "Identifica correctamente la inclinación axial como causa primaria",
    "Explica correctamente la luz solar diferencial por hemisferio",
    "No hay errores factuales presentes"
  ],
  "justification": "La respuesta explica con precisión la causa de las estaciones con un razonamiento
científico correcto. Tanto la inclinación axial como su efecto en la distribución de la luz solar
están correctamente descritos.",
  "improvement": "Podría añadir el ángulo de inclinación específico (23.5 grados) para completitud."
}

Ejemplo 2: Comparación por pares con intercambio de posición

Entrada:

Prompt: "Explica el aprendizaje automático a un principiante"
Respuesta A: [Explicación técnica con jerga]
Respuesta B: [Explicación basada en analogías simples]
Criterios: ["claridad", "accesibilidad"]

Primera pasada (A primero) :

{ "winner": "B", "confidence": 0.8 }

Segunda pasada (B primero) :

{ "winner": "A", "confidence": 0.6 }

(Nota: El ganador es A porque B estaba en primera posición)

Segunda pasada asignada:

{ "winner": "B", "confidence": 0.6 }

Resultado final:

{
  "winner": "B",
  "confidence": 0.7,
  "positionConsistency": {
    "consistent": true,
    "firstPassWinner": "B",
    "secondPassWinner": "B"
  }
}

Ejemplo 3: Generación de rúbricas

Entrada:

nombreCriterio: "Legibilidad del código"
descripcionCriterio: "Qué tan fácil es el código de entender y mantener"
dominio: "ingeniería de software"
escala: "1-5"
rigor: "equilibrado"

Salida (abreviada):

{
  "levels": [
    {
      "score": 1,
      "label": "Pobre",
      "description": "El código es difícil de entender sin un esfuerzo significativo",
      "characteristics": [
        "Nombres de variables o funciones sin significado",
        "Sin comentarios ni documentación",
        "Lógica profundamente anidada o enrevesada"
      ]
    },
    {
      "score": 3,
      "label": "Adecuado",
      "description": "El código es comprensible con algo de esfuerzo",
      "characteristics": [
        "La mayoría de las variables tienen nombres significativos",
        "Comentarios básicos presentes para secciones complejas",
        "La lógica es seguible pero podría ser más limpia"
      ]
    },
    {
      "score": 5,
      "label": "Excelente",
      "description": "El código es inmediatamente claro y mantenible",
      "characteristics": [
        "Todos los nombres son descriptivos y consistentes",
        "Documentación completa",
        "Estructura limpia y modular"
      ]
    }
  ],
  "edgeCases": [
    {
      "situation": "El código está bien estructurado pero usa abreviaturas específicas del dominio",
      "guidance": "Puntúa según la legibilidad para expertos del dominio, no para el público general"
    }
  ]
}

Pautas

1. Siempre requiere evidencia antes de las puntuaciones - Los prompts con evidencia primero hacen que los juicios sean más fáciles de auditar y reducen la puntuación numérica sin fundamento

2. Siempre intercambia posiciones en la comparación por pares - La comparación de una sola pasada está corrompida por el sesgo de posición

3. Empareja la granularidad de la escala con la especificidad de la rúbrica - No uses 1-10 sin descripciones de nivel detalladas

4. Separa los criterios objetivos y subjetivos - Usa puntuación directa para objetivos y por pares para subjetivos

5. Incluye puntuaciones de confianza - Calíbralas según la consistencia de posición y la fuerza de la evidencia

6. Define los casos límite explícitamente - Las situaciones ambiguas causan la mayor varianza de evaluación

7. Usa rúbricas específicas del dominio - Las rúbricas genéricas producen evaluaciones genéricas (menos útiles)

8. Valida contra juicios humanos - La evaluación automatizada solo es valiosa si se correlaciona con la evaluación humana

9. Monitorea el sesgo sistemático - Rastrea patrones de desacuerdo por criterio, tipo de respuesta, modelo

10. Diseña para la iteración - Los sistemas de evaluación mejoran con bucles de retroalimentación

Errores comunes

1. Puntuación sin justificación: Las puntuaciones carecen de fundamento y son difíciles de depurar. Siempre requiere justificación basada en evidencia antes de la puntuación.

2. Comparación por pares de una sola pasada: El sesgo de posición corrompe los resultados cuando las posiciones no se intercambian. Siempre evalúa dos veces con posiciones intercambiadas y verifica la consistencia.

3. Criterios sobrecargados: Los criterios que miden múltiples cosas a la vez producen puntuaciones no confiables. Haz cumplir un criterio = un aspecto medible.

4. Falta de guía para casos límite: Los evaluadores manejan casos ambiguos de manera inconsistente sin instrucciones explícitas. Incluye casos límite en las rúbricas con reglas de resolución claras.