skill-comply: Medição Automatizada de Conformidade
Mede se agentes de codificação realmente seguem skills, regras ou definições de agente:
- Geração automática de sequências comportamentais esperadas (especificações) a partir de qualquer arquivo .md
- Geração automática de cenários com rigor decrescente de prompt (suporte → neutro → concorrente)
- Execução de
claude -pe captura de rastros de chamadas de ferramentas via stream-json - Classificação de chamadas de ferramentas contra etapas da especificação usando LLM (não regex)
- Verificação determinística de ordenação temporal
- Geração de relatórios autocontidos com especificação, prompts e cronogramas
Alvos Suportados
- Skills (
skills/*/SKILL.md): Skills de fluxo de trabalho como search-first, guias TDD - Regras (
rules/common/*.md): Regras obrigatórias como testing.md, security.md, git-workflow.md - Definições de agente (
agents/*.md): Se um agente é invocado quando esperado (verificação interna de fluxo de trabalho ainda não suportada)
Quando Ativar
- O usuário executa
/skill-comply <caminho> - O usuário pergunta "esta regra está sendo realmente seguida?"
- Após adicionar novas regras/skills, para verificar a conformidade do agente
- Periodicamente como parte da manutenção de qualidade
Uso
# Execução completa
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Execução seca (sem custo, apenas especificação + cenários)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Modelos personalizados
uv run python -m scripts.run --gen-model haiku --model sonnet <caminho>
Conceito Chave: Independência de Prompt
Mede se uma skill/regra é seguida mesmo quando o prompt não a suporta explicitamente.
Conteúdo do Relatório
Os relatórios são autocontidos e incluem:
- Sequência comportamental esperada (especificação gerada automaticamente)
- Prompts do cenário (o que foi perguntado em cada nível de rigor)
- Pontuações de conformidade por cenário
- Cronogramas de chamadas de ferramentas com rótulos de classificação do LLM
Avançado (opcional)
Para usuários familiarizados com hooks, os relatórios também incluem recomendações de promoção de hooks para etapas com baixa conformidade. Isso é informativo — o valor principal é a própria visibilidade da conformidade.