skill-comply

skill-comply : Mesure automatisée de conformité

Mesure si les agents de codage suivent réellement les compétences, règles ou définitions d'agent en :

1. Générant automatiquement des séquences comportementales attendues (spécifications) à partir de tout fichier .md
2. Générant automatiquement des scénarios avec une sévérité de prompt décroissante (supportif → neutre → concurrent)
3. Exécutant claude -p et capturant les traces d'appels d'outils via stream-json
4. Classifiant les appels d'outils par rapport aux étapes de la spécification à l'aide d'un LLM (pas de regex)
5. Vérifiant l'ordre temporel de manière déterministe
6. Générant des rapports autonomes comprenant la spécification, les prompts et les chronologies

Cibles prises en charge

• Compétences (skills/*/SKILL.md) : Compétences de workflow comme search-first, guides TDD
• Règles (rules/common/*.md) : Règles obligatoires comme testing.md, security.md, git-workflow.md
• Définitions d'agent (agents/*.md) : Vérifie si un agent est invoqué comme prévu (la vérification interne du workflow n'est pas encore prise en charge)

Quand activer

• L'utilisateur exécute /skill-comply <chemin>
• L'utilisateur demande « cette règle est-elle réellement suivie ? »
• Après l'ajout de nouvelles règles/compétences, pour vérifier la conformité de l'agent
• Périodiquement dans le cadre d'une maintenance qualité

Utilisation

# Exécution complète
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Exécution à sec (aucun coût, spécification + scénarios uniquement)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Modèles personnalisés
uv run python -m scripts.run --gen-model haiku --model sonnet <chemin>

Concept clé : Indépendance du prompt

Mesure si une compétence/règle est suivie même lorsque le prompt ne la soutient pas explicitement.

Contenu du rapport

Les rapports sont autonomes et incluent :

1. La séquence comportementale attendue (spécification générée automatiquement)
2. Les prompts des scénarios (ce qui a été demandé à chaque niveau de sévérité)
3. Les scores de conformité par scénario
4. Les chronologies d'appels d'outils avec labels de classification LLM

Avancé (optionnel)

Pour les utilisateurs familiers avec les hooks, les rapports incluent également des recommandations de promotion de hooks pour les étapes avec une faible conformité. Ceci est informatif — la valeur principale reste la visibilité de la conformité elle-même.