O que agent-evals-cn faz?
Uma skill de avaliação para Agentes de IA / Codex que permite testar e validar desempenho e precisão de agentes em tarefas de codificação.
Visão Geral
Esta skill fornece um conjunto de ferramentas e templates para criar avaliações de agentes de IA focadas em tarefas de programação. Com ela, é possível definir critérios de sucesso, executar agentes em cenários controlados e coletar métricas objetivas sobre seu comportamento.
Principais Funcionalidades
- Criação de Avaliações Estruturadas: Defina casos de teste com entrada, saída esperada e critérios de avaliação.
- Suporte a Múltiplos Agentes: Teste agentes como Codex, Claude, ou qualquer modelo compatível com a API da OpenAI.
- Análise de Resultados: Relatórios detalhados sobre acertos, erros e tempo de execução.
- Integração CI/CD: Execute avaliações automaticamente em pipelines como GitHub Actions.
Como Usar
- Instale as dependências:
npm install @zhuwujing28/agent-evals(exemplo) - Configure um arquivo de avaliação (YAML ou JSON):
name: "Exemplo de Avaliação" agent: "codex" tasks: - description: "Gerar função de soma" prompt: "Crie uma função que some dois números em Python." expected: "def soma(a, b):\n return a + b" criteria: ["correção", "sintaxe", "nomes-variáveis"] - Execute a avaliação:
npx agent-evals run --config meu-eval.yaml - Analise os resultados: O relatório será gerado em
./reports/.
Exemplos
- Teste de Geração de Código: Verifique se o agente produz código funcional conforme especificações.
- Teste de Debugging: Apresente um código com bugs e avalie a correção do agente.
- Teste de Refatoração: Solicite a melhoria de um trecho de código e avalie a qualidade do resultado.
Suporte a Plataformas
- OpenAI Codex
- Anthropic Claude
- GitHub Copilot (via API)
- Modelos locais (via servidor compatível com OpenAI API)
Contribuição
Contribuições são bem-vindas! Por favor, leia o arquivo CONTRIBUTING.md para orientações sobre como reportar issues e enviar pull requests.
Licença
Este projeto está licenciado sob a Licença MIT - veja o arquivo LICENSE para detalhes.