prototypebench は何をしますか?
AIコーディングエージェント向けのオープンベンチマーク。フルスタック機能リリース(React+Vite+Tailwind/FastAPI+SQLModel)における実力評価。71のPR由来タスク、32kテスト、実行ベーススコアリング(pytest+Playwright)、LLM-as-judge非使用。
AIコーディングエージェント向けのオープンベンチマーク。フルスタック機能リリース(React+Vite+Tailwind/FastAPI+SQLModel)における実力評価を行います。71のPR由来タスク、32kテスト、実行ベーススコアリング(pytest+Playwright)、LLM-as-judge非使用。
prototypebenchは、AIコーディングエージェントがフルスタックの機能開発をどの程度正確に完了できるかを評価するオープンベンチマークです。React/Vite/Tailwindを用いたフロントエンドと、FastAPI/SQLModelを用いたバックエンドを含む71のタスクが用意されており、各タスクは実際のプルリクエストから抽出されています。評価は、pytestとPlaywrightを使用したテスト実行の成否に基づいており、LLMによる主観的評価(LLM-as-judge)は一切使用しません。合計32,000以上のテストスイートが、コードの正確性と機能の完全性を厳密に検証します。このベンチマークは、Cursor、Claude Code、CodexなどのAIエージェントの実世界でのパフォーマンスを客観的に比較したい開発者や研究者に最適です。
npx skills add prototypebench/prototypebenchAIコーディングエージェント向けのオープンベンチマーク。フルスタック機能リリース(React+Vite+Tailwind/FastAPI+SQLModel)における実力評価。71のPR由来タスク、32kテスト、実行ベーススコアリング(pytest+Playwright)、LLM-as-judge非使用。
ElevenLabs text-to-speech with mac-style say UX.
Oracle CLI second-model review/debug/refactor/design with selected files, dry-run token checks, API or browser engine.
Capture and automate macOS UI with the Peekaboo CLI.
Generate multiple radically different interface designs for a module using parallel sub-agents. Use when user wants to design an API, explore interface options, compare module shapes, or mentions "design it twice".
Build a throwaway prototype to flesh out a design — a runnable terminal app for state/business-logic questions, or several radically different UI variations toggleable from one route.
Interview the user relentlessly about a plan or design until reaching shared understanding, resolving each branch of the decision tree. Use when user wants to stress-test a plan, get grilled on their design, or mentions "grill me".