halfmoon-mind/avaliador-de-rubrica
Avalie diretórios de habilidades do Claude Code e Codex com verificações determinísticas de rubrica e relatórios pontuáveis e corrigíveis.
Visão Geral
O Avaliador de Rubrica é uma ferramenta que permite a inspeção automatizada de diretórios de habilidades (skills) para agentes de IA como Claude Code e Codex. Ele utiliza rubricas predefinidas para realizar verificações determinísticas, atribuir pontuações e gerar relatórios detalhados que indicam áreas de melhoria.
Funcionalidades
- Verificações Determinísticas: Avalia habilidades com base em critérios objetivos (ex.: estrutura de diretórios, presença de arquivos obrigatórios, conformidade com metadados).
- Relatórios Pontuáveis: Cada habilidade recebe uma pontuação com base na rubrica, facilitando a comparação entre diferentes diretórios.
- Correção Acionável: O relatório inclui sugestões específicas de correção, permitindo que os desenvolvedores resolvam problemas rapidamente.
- Suporte Multiplataforma: Compatível com Claude Code e Codex, podendo ser estendido para outros ambientes de agentes.
Como Usar
- Defina uma Rubrica: Crie um arquivo de rubrica (ex.:
rubrica.yaml) com os critérios de avaliação desejados. - Execute a Avaliação: Utilize o comando apropriado (ex.:
rubric-evaluate --rubrica rubrica.yaml --diretorio ./skills). - Analise o Relatório: O resultado é um relatório em formato legível (Markdown ou JSON) com pontuações e recomendações.
Exemplo de Rubrica
criterios:
- nome: estrutura
peso: 30
itens:
- descricao: Deve conter um arquivo SKILL.md na raiz
tipo: arquivo_existe
parametros:
caminho: SKILL.md
- descricao: Deve conter um diretório src
tipo: diretorio_existe
parametros:
caminho: src
- nome: documentacao
peso: 20
itens:
- descricao: SKILL.md deve ter pelo menos 50 palavras
tipo: tamanho_arquivo
parametros:
minimo: 50
Requisitos
- Python 3.9+
- Acesso ao diretório de habilidades alvo
- (Opcional) Integração com CI/CD para validação automática
Contribuição
Contribuições são bem-vindas! Abra uma issue ou envie um pull request no repositório halfmoon-mind/rubric-evaluator.