Communitygithub.com

prototypebench/prototypebench

AI 코딩 에이전트를 위한 오픈 벤치마크로, 풀스택 기능 출시(React+Vite+Tailwind/FastAPI+SQLModel)를 다룹니다. 71개의 PR 기반 태스크, 32,000개의 테스트, 실행 기반 점수(pytest+Playwright), LLM-as-judge 없음.

prototypebench란 무엇인가요?

prototypebench/prototypebench는 AI 코딩 에이전트가 실제 소프트웨어 개발 환경에서 풀스택 기능을 얼마나 잘 출시하는지 평가하는 오픈 소스 벤치마크입니다. React+Vite+Tailwind(프론트엔드)와 FastAPI+SQLModel(백엔드) 스택을 사용하는 실제 프로젝트에서 추출된 71개의 PR 기반 태스크를 제공합니다. 각 태스크는 32,000개가 넘는 테스트를 통해 실행 기반으로 점수가 매겨지며, 주관적인 LLM-as-judge 평가 대신 pytest와 Playwright를 사용한 객관적인 실행 결과를 중시합니다. 이 벤치마크는 주로 Claude Code, Cursor, Codex와 같은 AI 코딩 에이전트가 실제 개발 시나리오에서 코드 생성, 디버깅, 기능 통합 능력을 얼마나 잘 발휘하는지 측정하는 데 사용됩니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add prototypebench/prototypebench

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

prototypebench은(는) 무엇을 하나요?

AI 코딩 에이전트를 위한 오픈 벤치마크로, 풀스택 기능 출시(React+Vite+Tailwind/FastAPI+SQLModel)를 다룹니다. 71개의 PR 기반 태스크 · 32,000개의 테스트 · 실행 기반 점수(pytest+Playwright) · LLM-as-judge 없음.

관련 스킬