zhuwujing28-del/agent-evals-cn

Uma skill de avaliação para Agentes de IA / Codex que permite testar e validar desempenho e precisão de agentes em tarefas de codificação.

O que é agent-evals-cn?

Esta skill permite que desenvolvedores e engenheiros de software avaliem o desempenho de agentes de IA (como Codex, Claude ou outros modelos de linguagem) em tarefas específicas de codificação. Ela fornece um framework estruturado para criar, executar e analisar avaliações (evals) que medem a precisão, eficiência e aderência do agente às instruções recebidas. Útil para comparar diferentes versões de agentes ou configurações de prompting em um ambiente controlado, a skill suporta integração com plataformas como GitHub Actions para automação de testes. Baseada no conceito de "evals" do projeto OpenAI Evals, ela adapta a metodologia para cenários de engenharia de software, permitindo que agentes sejam testados em tarefas como geração de código, debugging, refatoração e cumprimento de especificações técnicas. Seu uso é recomendado para equipes que desejam garantir a qualidade e confiabilidade de seus assistentes de codificação baseados em IA.

Funciona com~Claude Code✓Codex CLI~Cursor
npx skills add zhuwujing28-del/agent-evals-cn

Installed? Explore more Programação e Desenvolvimento skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que agent-evals-cn faz?

Uma skill de avaliação para Agentes de IA / Codex que permite testar e validar desempenho e precisão de agentes em tarefas de codificação.


Visão Geral

Esta skill fornece um conjunto de ferramentas e templates para criar avaliações de agentes de IA focadas em tarefas de programação. Com ela, é possível definir critérios de sucesso, executar agentes em cenários controlados e coletar métricas objetivas sobre seu comportamento.

Principais Funcionalidades

  • Criação de Avaliações Estruturadas: Defina casos de teste com entrada, saída esperada e critérios de avaliação.
  • Suporte a Múltiplos Agentes: Teste agentes como Codex, Claude, ou qualquer modelo compatível com a API da OpenAI.
  • Análise de Resultados: Relatórios detalhados sobre acertos, erros e tempo de execução.
  • Integração CI/CD: Execute avaliações automaticamente em pipelines como GitHub Actions.

Como Usar

  1. Instale as dependências: npm install @zhuwujing28/agent-evals (exemplo)
  2. Configure um arquivo de avaliação (YAML ou JSON):
    name: "Exemplo de Avaliação"
    agent: "codex"
    tasks:
      - description: "Gerar função de soma"
        prompt: "Crie uma função que some dois números em Python."
        expected: "def soma(a, b):\n    return a + b"
        criteria: ["correção", "sintaxe", "nomes-variáveis"]
    
  3. Execute a avaliação: npx agent-evals run --config meu-eval.yaml
  4. Analise os resultados: O relatório será gerado em ./reports/.

Exemplos

  • Teste de Geração de Código: Verifique se o agente produz código funcional conforme especificações.
  • Teste de Debugging: Apresente um código com bugs e avalie a correção do agente.
  • Teste de Refatoração: Solicite a melhoria de um trecho de código e avalie a qualidade do resultado.

Suporte a Plataformas

  • OpenAI Codex
  • Anthropic Claude
  • GitHub Copilot (via API)
  • Modelos locais (via servidor compatível com OpenAI API)

Contribuição

Contribuições são bem-vindas! Por favor, leia o arquivo CONTRIBUTING.md para orientações sobre como reportar issues e enviar pull requests.

Licença

Este projeto está licenciado sob a Licença MIT - veja o arquivo LICENSE para detalhes.

Habilidades Relacionadas