O que agent-eval-harness faz?
Benchmark de código aberto e ao vivo para comparar agentes de codificação de IA em issues reais do GitHub.
Benchmark de código aberto e ao vivo para comparar agentes de codificação de IA em issues reais do GitHub.
O **linny006/agent-eval-harness** é um benchmark open-source e ativo, projetado para avaliar e comparar o desempenho de agentes de codificação de IA (como Claude Code, Cursor, Codex, etc.) na resolução de issues reais do GitHub. Ele permite que desenvolvedores e criadores de ferramentas meçam objetivamente a eficácia de diferentes agentes em tarefas do mundo real, gerando métricas padronizadas e relatórios de desempenho. Por ser baseado em issues do GitHub, o benchmark reflete desafios autênticos de engenharia de software — incluindo correção de bugs, implementação de funcionalidades, refatoração e otimização — e se mantém atualizado com as contribuições da comunidade. A ferramenta oferece um ambiente controlado para execução de testes, coleta de resultados e visualização comparativa, ajudando a identificar as forças e fraquezas de cada abordagem de agente de IA, seja em editores de código tradicionais, terminais inteligentes ou IDEs baseados em IA.
npx skills add linny006/agent-eval-harnessInstalled? Explore more Pesquisa e Análise de Dados skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →
Benchmark de código aberto e ao vivo para comparar agentes de codificação de IA em issues reais do GitHub.
USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.
Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.
Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.
The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.
Agent skill repository discovered by 10x-chat research.
Review backend code for quality, security, maintainability, and best practices based on established checklist rules. Use when the user requests a review, analysis, or improvement of backend files (e.g., `.py`) under the `api/` directory. Do NOT use for frontend files (e.g., `.tsx`, `.ts`, `.js`). Supports pending-change review, code snippets review, and file-focused review.