CommunityProgramación y desarrollogithub.com

adewale/skill-eval-harness

Herramienta de evaluación de habilidades para agentes que permite comparar variantes emparejadas, artefactos de traza y adaptadores de ejecución.

¿Qué es skill-eval-harness?

Este skill está diseñado para evaluar y comparar variantes de agentes de IA (como Claude Code, Cursor o Codex) mediante un harness de evaluación que produce artefactos de traza y se adapta a diferentes ejecutores. Es útil para desarrolladores que quieren medir objetivamente el impacto de cambios en prompts, reglas o herramientas de un agente, permitiendo realizar ablaciones controladas. Soporta cualquier plataforma que pueda ejecutar scripts y leer archivos de salida, ya que se basa en un formato de traza estandarizado. El skill define reglas de severidad (Bloqueante, Menor, Limpio) y una lista de verificación compartida que el agente debe seguir al revisar el trabajo, asegurando consistencia y comparabilidad entre variantes.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add adewale/skill-eval-harness

Installed? Explore more Programación y desarrollo skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

Revisor de Demostración

Un skill deliberadamente pequeño que existe únicamente para demostrar el harness de principio a fin (ablaciones materializadas incluidas). Tiene exactamente dos piezas clave: una regla de severidad y una referencia a la lista de verificación, cada una objetivo de una ablación a continuación.

Reglas de severidad

Etiqueta cada hallazgo con uno de: Bloqueante, Menor o Limpio. Indica la etiqueta de forma explícita para que el lector pueda priorizar de un vistazo. Un cambio que se envía sin una prueba es al menos Bloqueante.

Evidencia

Respaldar cada hallazgo con evidencia concreta y seguir la lista de verificación de revisión compartida: consulta la lista de verificación de revisión.

Skills relacionados