Communitygithub.com

prototypebench/prototypebench

Benchmark aberto para agentes de código de IA em entrega de funcionalidades full-stack (React+Vite+Tailwind/FastAPI+SQLModel). 71 tarefas extraídas de PRs · 32 mil testes · pontuação baseada em execução (pytest+Playwright) · sem LLM como juiz.

O que é prototypebench?

O Prototypebench é um benchmark aberto desenvolvido especificamente para avaliar agentes de codificação de IA em tarefas de entrega de funcionalidades full-stack. Ele abrange frameworks populares como React+Vite+Tailwind para o frontend e FastAPI+SQLModel para o backend. Com 71 tarefas extraídas de pull requests reais, o benchmark oferece um conjunto robusto de 32 mil testes que utilizam pytest e Playwright para validação baseada em execução prática, eliminando a necessidade de um LLM como juiz. Isso garante uma avaliação precisa e realista das habilidades dos agentes. O benchmark é compatível com várias plataformas de agentes de IA, como Claude Code, Cursor, Codex e outros, fornecendo um ambiente padronizado para comparar desempenho.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add prototypebench/prototypebench

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que prototypebench faz?

Benchmark aberto para agentes de código de IA em entrega de funcionalidades full-stack (React+Vite+Tailwind/FastAPI+SQLModel). 71 tarefas extraídas de PRs · 32 mil testes · pontuação baseada em execução (pytest+Playwright) · sem LLM como juiz.

Habilidades Relacionadas