Communitygithub.com

prototypebench/prototypebench

AIコーディングエージェント向けのオープンベンチマーク。フルスタック機能リリース(React+Vite+Tailwind/FastAPI+SQLModel)における実力評価を行います。71のPR由来タスク、32kテスト、実行ベーススコアリング(pytest+Playwright)、LLM-as-judge非使用。

prototypebench とは?

prototypebenchは、AIコーディングエージェントがフルスタックの機能開発をどの程度正確に完了できるかを評価するオープンベンチマークです。React/Vite/Tailwindを用いたフロントエンドと、FastAPI/SQLModelを用いたバックエンドを含む71のタスクが用意されており、各タスクは実際のプルリクエストから抽出されています。評価は、pytestとPlaywrightを使用したテスト実行の成否に基づいており、LLMによる主観的評価(LLM-as-judge)は一切使用しません。合計32,000以上のテストスイートが、コードの正確性と機能の完全性を厳密に検証します。このベンチマークは、Cursor、Claude Code、CodexなどのAIエージェントの実世界でのパフォーマンスを客観的に比較したい開発者や研究者に最適です。

対応~Claude Code~Codex CLI~Cursor
npx skills add prototypebench/prototypebench

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

prototypebench は何をしますか?

AIコーディングエージェント向けのオープンベンチマーク。フルスタック機能リリース(React+Vite+Tailwind/FastAPI+SQLModel)における実力評価。71のPR由来タスク、32kテスト、実行ベーススコアリング(pytest+Playwright)、LLM-as-judge非使用。

関連スキル