skill-comply: Medição Automatizada de Conformidade
Mede se agentes de codificação realmente seguem habilidades, regras ou definições de agente:
- Geração automática de sequências comportamentais esperadas (especificações) a partir de qualquer arquivo .md
- Geração automática de cenários com rigor decrescente de prompt (suportivo → neutro → concorrente)
- Execução de
claude -pe captura de rastreios de chamadas de ferramentas via stream-json - Classificação de chamadas de ferramentas em relação às etapas da especificação usando LLM (não regex)
- Verificação determinística da ordenação temporal
- Geração de relatórios independentes com especificação, prompts e linhas do tempo
Alvos Suportados
- Habilidades (
skills/*/SKILL.md): Habilidades de fluxo de trabalho como search-first, guias TDD - Regras (
rules/common/*.md): Regras obrigatórias como testing.md, security.md, git-workflow.md - Definições de agente (
agents/*.md): Se um agente é invocado quando esperado (verificação interna de fluxo de trabalho ainda não suportada)
Quando Ativar
- Usuário executa
/skill-comply <caminho> - Usuário pergunta "esta regra está sendo realmente seguida?"
- Após adicionar novas regras/habilidades, para verificar conformidade do agente
- Periodicamente como parte da manutenção de qualidade
Uso
# Execução completa
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Execução seca (sem custo, apenas especificação + cenários)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Modelos personalizados
uv run python -m scripts.run --gen-model haiku --model sonnet <caminho>
Conceito Chave: Independência de Prompt
Mede se uma habilidade/regra é seguida mesmo quando o prompt não a suporta explicitamente.
Conteúdo do Relatório
Os relatórios são independentes e incluem:
- Sequência comportamental esperada (especificação gerada automaticamente)
- Prompts dos cenários (o que foi perguntado em cada nível de rigor)
- Pontuações de conformidade por cenário
- Linhas do tempo de chamadas de ferramentas com rótulos de classificação do LLM
Avançado (opcional)
Para usuários familiarizados com hooks, os relatórios também incluem recomendações de promoção de hooks para etapas com baixa conformidade. Isso é informativo — o valor principal é a visibilidade da conformidade em si.