¿Qué hace Auditoría de Validez del Evaluador?
Alcance
Úsalo en evaluadores deterministas o asistidos por modelos donde los defectos de calificación pueden hacer que respuestas incorrectas parezcan correctas o que alternativas legítimas fallen.
Procedimiento
- Nombra la construcción que se está midiendo: corrección de respuesta, fundamentación de evidencia, acción de herramienta requerida, límite de autoridad, alcance de población, etc. Separa estas dimensiones.
- Mapea cada tarea a soluciones de referencia, supuestos de entrada, lógica del evaluador, comportamientos alternativos aceptados y códigos de fallo explícitos.
- Prueba controles positivos (genuinamente correctos), controles negativos (valores incorrectos, evidencia faltante, resultados de herramientas falsificados, acciones no permitidas) y alternativas válidas (SQL equivalente, rutas de evidencia o disposiciones de razonamiento).
- Verifica que los campos de observación se deriven de evidencia real de ejecución, no de etiquetas escritas por el modelo o metadatos de resultados no confiables.
- Ejecuta los controles sin exponer instancias reservadas al agente de desarrollo. Conserva los contraejemplos y su evidencia original.
- Clasifica los defectos como falsa aceptación, falso rechazo, contrato de tarea ambiguo o alternativa no soportada pero válida. Distingue los defectos del evaluador de los fallos del modelo o del tiempo de ejecución.
- Propón cambios versionados con deltas de comportamiento esperados; no ajustes el evaluador en silencio después de ver resultados confirmatorios.
- Congela solo cuando el portal de validez declarado se supere, o informa explícitamente las limitaciones pendientes y abstente de hacer afirmaciones.
Resultado
Una matriz de casos auditados que muestra los casos de referencia, adversariales y alternativos, los códigos de razón esperados vs. observados y los defectos no cerrados.
Condiciones de parada
Pausa la interpretación confirmatoria para defectos no resueltos que alteren materialmente el éxito medido. Que las pruebas pasen por sí solas no establece validez si faltan contraejemplos importantes.