Communitygithub.com

MrBinnacle/skill-harness

Pruebas diferenciales de ablación por cláusula para habilidades de LLM. Mide si cada cláusula de un artefacto de habilidad produce un efecto direccional medible. Pre-alfa.

¿Qué es skill-harness?

MrBinnacle/skill-harness es una herramienta de prueba diferencial por ablación diseñada para evaluar habilidades de modelos de lenguaje grande (LLM). Su propósito principal es medir si cada cláusula individual dentro de un artefacto de habilidad (como el SKILL.md) produce un efecto direccional medible en el comportamiento del agente. Esto permite a los desarrolladores identificar qué partes de una instrucción son realmente útiles y cuáles son redundantes o incluso contraproducentes. La herramienta funciona ejecutando el agente con y sin cada cláusula (ablación), y comparando los resultados para detectar cambios significativos. Aunque aún en fase pre-alfa, este enfoque es valioso para optimizar habilidades de agentes como Claude Code, Cursor o Codex, mejorando su precisión y eficiencia al eliminar instrucciones irrelevantes.

Compatible con~Claude Code~Codex CLI~Cursor
npx skills add MrBinnacle/skill-harness

Preguntar en tu IA favorita

Abre un nuevo chat con esta habilidad de agente ya precargada.

Documentación

¿Qué hace skill-harness?

Pruebas diferenciales de ablación por cláusula para habilidades de LLM. Mide si cada cláusula de un artefacto de habilidad produce un efecto direccional medible. Pre-alfa.

Skills relacionados