O que eval-bench faz?
Avalie plugins/skills/agentes/MCPs do Claude Code comparando versões A/B com prompts de avaliação julgados por LLM.
Como funciona
- Configure dois cenários: versão A (ex: versão atual de uma skill) e versão B (ex: versão modificada).
- Defina prompts de avaliação: questões ou tarefas para testar o comportamento do agente.
- Execute o benchmark: a skill executa cada cenário com os prompts e coleta as respostas.
- Compare os resultados: um LLM (por exemplo, Claude) julga qual resposta é melhor para cada prompt.
- Obtenha um resumo: pontuação final e recomendações sobre qual versão é superior.
Pré-requisitos
- Claude Code (ou outro agente compatível) instalado e configurado.
- Acesso a uma chave de API de LLM para julgamento (ex: Anthropic).
Uso
eval-bench --version-a ./caminho/para/skill-a --version-b ./caminho/para/skill-b --prompts prompts.yaml
Parâmetros
| Parâmetro | Descrição |
|---|---|
--version-a | Caminho para o diretório com a versão A da skill/plugin |
--version-b | Caminho para o diretório com a versão B da skill/plugin |
--prompts | Arquivo YAML contendo os prompts de avaliação |
--judge-model | Modelo LLM a ser usado como juiz (padrão: claude-3-opus-20240229) |
Exemplo de arquivo de prompts (prompts.yaml)
- prompt: "Crie um arquivo de configuração para um servidor web"
expected: "deve conter parâmetros de porta, diretório raiz e logging"
- prompt: "Gere uma função para calcular o Fibonacci";
expected: "deve ser recursiva e eficiente"
Saída esperada
Resultado do benchmark:
Versão A: 3 pontos
Versão B: 5 pontos
Vencedora: Versão B
Recomendação: A versão B superou a A na maioria dos prompts. Considere integrá-la.
Notas
- Use prompts claros e objetivos para um julgamento mais preciso.
- O juiz LLM pode ser configurado para diferentes modelos, dependendo da sua assinatura.
- Esta skill é ideal para CI/CD, permitindo testes automáticos antes de deploy.
Licença
MIT