skill-comply

skill-comply: Medición Automatizada de Cumplimiento

Mide si los agentes de codificación siguen realmente las habilidades, reglas o definiciones de agente mediante:

1. Generación automática de secuencias de comportamiento esperadas (especificaciones) a partir de cualquier archivo .md
2. Generación automática de escenarios con severidad decreciente de instrucciones (de apoyo → neutral → competitivo)
3. Ejecución de claude -p y captura de trazas de llamadas a herramientas mediante stream-json
4. Clasificación de llamadas a herramientas contra pasos de especificación usando LLM (no expresiones regulares)
5. Verificación del orden temporal de forma determinista
6. Generación de informes autocontenidos con especificación, instrucciones y líneas de tiempo

Objetivos Compatibles

• Habilidades (skills/*/SKILL.md): Habilidades de flujo de trabajo como search-first, guías TDD
• Reglas (rules/common/*.md): Reglas obligatorias como testing.md, security.md, git-workflow.md
• Definiciones de agente (agents/*.md): Si un agente se invoca cuando se espera (la verificación interna del flujo de trabajo aún no es compatible)

Cuándo Activar

• El usuario ejecuta /skill-comply <ruta>
• El usuario pregunta "¿se sigue realmente esta regla?"
• Después de agregar nuevas reglas/habilidades, para verificar el cumplimiento del agente
• Periódicamente como parte del mantenimiento de calidad

Uso

# Ejecución completa
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Simulación (sin costo, solo especificación + escenarios)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Modelos personalizados
uv run python -m scripts.run --gen-model haiku --model sonnet <ruta>

Concepto Clave: Independencia de Instrucciones

Mide si una habilidad/regla se sigue incluso cuando la instrucción no la respalda explícitamente.

Contenido del Informe

Los informes son autocontenidos e incluyen:

1. Secuencia de comportamiento esperada (especificación generada automáticamente)
2. Instrucciones de los escenarios (lo que se preguntó en cada nivel de severidad)
3. Puntuaciones de cumplimiento por escenario
4. Líneas de tiempo de llamadas a herramientas con etiquetas de clasificación del LLM

Avanzado (opcional)

Para usuarios familiarizados con hooks, los informes también incluyen recomendaciones de promoción de hooks para pasos con bajo cumplimiento. Esto es informativo — el valor principal es la visibilidad del cumplimiento en sí.