skill-comply

skill-comply : Mesure automatisée de la conformité

Mesure si les agents de codage suivent réellement les compétences, règles ou définitions d'agent en :

1. Générant automatiquement les séquences comportementales attendues (cahier des charges) à partir de tout fichier .md
2. Générant automatiquement des scénarios avec une contrainte de prompt décroissante (favorable → neutre → concurrent)
3. Exécutant claude -p et capturant les traces d'appels d'outils via stream-json
4. Classifiant les appels d'outils par rapport aux étapes du cahier des charges à l'aide d'un LLM (pas d'expressions régulières)
5. Vérifiant l'ordre temporel de manière déterministe
6. Générant des rapports autonomes avec le cahier des charges, les prompts et les chronologies

Cibles prises en charge

• Compétences (skills/*/SKILL.md) : Compétences de workflow comme search-first, guides TDD
• Règles (rules/common/*.md) : Règles obligatoires comme testing.md, security.md, git-workflow.md
• Définitions d'agent (agents/*.md) : Vérifier si un agent est invoqué comme prévu (la vérification interne du workflow n'est pas encore prise en charge)

Quand l'activer

• L'utilisateur exécute /skill-comply <chemin>
• L'utilisateur demande "cette règle est-elle réellement suivie ?"
• Après avoir ajouté de nouvelles règles/compétences, pour vérifier la conformité des agents
• Périodiquement dans le cadre de la maintenance qualité

Utilisation

# Exécution complète
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Exécution à sec (aucun coût, cahier des charges + scénarios uniquement)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Modèles personnalisés
uv run python -m scripts.run --gen-model haiku --model sonnet <chemin>

Concept clé : Indépendance du prompt

Mesure si une compétence/règle est suivie même lorsque le prompt ne la soutient pas explicitement.

Contenu du rapport

Les rapports sont autonomes et incluent :

1. La séquence comportementale attendue (cahier des charges auto-généré)
2. Les prompts des scénarios (ce qui a été demandé à chaque niveau de contrainte)
3. Les scores de conformité par scénario
4. Les chronologies des appels d'outils avec les étiquettes de classification LLM

Avancé (optionnel)

Pour les utilisateurs familiers avec les hooks, les rapports incluent également des recommandations d'activation de hooks pour les étapes à faible conformité. Ceci est informatif — la valeur principale reste la visibilité de la conformité elle-même.