CommunityEscrita e Ediçãogithub.com

bettyguo/agent_eval

Um benchmark open-source para bundles de skills do Claude Code (.claude/skills/) e configurações CLAUDE.md. Pass@k + custo + confiabilidade, leaderboard com endereçamento de conteúdo, funciona em Anthropic / OpenAI / Google.

O que é agent_eval?

O bettyguo/agent_eval é uma ferramenta de benchmark open-source projetada para avaliar e comparar bundles de skills do Claude Code (definidos em .claude/skills/) e configurações CLAUDE.md. Ele oferece métricas como Pass@k (taxa de sucesso), custo e confiabilidade, permitindo que desenvolvedores e engenheiros de IA otimizem seus agentes. O projeto mantém um leaderboard com endereçamento de conteúdo, garantindo reprodutibilidade dos resultados. Compatível com provedores como Anthropic, OpenAI e Google, ele auxilia na seleção e melhoria de configurações de agentes para tarefas específicas.

Funciona com✓Claude Code✓Codex CLI~Cursor
npx skills add bettyguo/agent_eval

Installed? Explore more Escrita e Edição skills: steipete/notion, langchain-ai/langchain, bytedance/podcast-generation · View all 6 →

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que agent_eval faz?

Um benchmark open-source para bundles de skills do Claude Code (.claude/skills/) e configurações CLAUDE.md. Pass@k + custo + confiabilidade, leaderboard com endereçamento de conteúdo, funciona em Anthropic / OpenAI / Google.

Habilidades Relacionadas