skill-comply

skill-comply: Medición Automatizada de Cumplimiento

Mide si los agentes de codificación realmente siguen habilidades, reglas o definiciones de agentes mediante:

1. Auto-generación de secuencias de comportamiento esperadas (especificaciones) a partir de cualquier archivo .md
2. Auto-generación de escenarios con rigor decreciente de las indicaciones (de apoyo → neutral → competitivo)
3. Ejecución de claude -p y captura de trazas de llamadas a herramientas mediante stream-json
4. Clasificación de llamadas a herramientas contra pasos de la especificación usando LLM (no expresiones regulares)
5. Verificación del orden temporal de forma determinista
6. Generación de informes autocontenidos con especificación, indicaciones y líneas de tiempo

Destinos Compatibles

• Habilidades (skills/*/SKILL.md): Habilidades de flujo de trabajo como search-first, guías TDD
• Reglas (rules/common/*.md): Reglas obligatorias como testing.md, security.md, git-workflow.md
• Definiciones de agentes (agents/*.md): Si un agente se invoca cuando se espera (la verificación interna del flujo de trabajo aún no es compatible)

Cuándo Activarlo

• El usuario ejecuta /skill-comply <ruta>
• El usuario pregunta "¿se está siguiendo realmente esta regla?"
• Después de agregar nuevas reglas/habilidades, para verificar el cumplimiento del agente
• Periódicamente como parte del mantenimiento de calidad

Uso

# Ejecución completa
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Simulación sin costo (solo especificación y escenarios)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Modelos personalizados
uv run python -m scripts.run --gen-model haiku --model sonnet <ruta>

Concepto Clave: Independencia de las Indicaciones

Mide si una habilidad/regla se sigue incluso cuando la indicación no la respalda explícitamente.

Contenido del Informe

Los informes son autocontenidos e incluyen:

1. Secuencia de comportamiento esperada (especificación auto-generada)
2. Indicaciones de los escenarios (lo que se preguntó en cada nivel de rigurosidad)
3. Puntuaciones de cumplimiento por escenario
4. Líneas de tiempo de llamadas a herramientas con etiquetas de clasificación del LLM

Avanzado (opcional)

Para usuarios familiarizados con hooks, los informes también incluyen recomendaciones de promoción de hooks para pasos con bajo cumplimiento. Esto es informativo: el valor principal es la visibilidad del cumplimiento en sí.