bettyguo/agent_eval

agent_eval とは？

bettyguo/agent_evalは、Claude Codeのスキルバンドル（.claude/skills/）とCLAUDE.md設定のパフォーマンスを評価するためのオープンソースベンチマークです。このツールは、Pass@k（タスク成功率）、コスト、信頼性を測定し、コンテンツアドレス方式（Content-addressed）によるリーダーボードを提供することで、異なる設定やスキル構成の比較を容易にします。Anthropic（Claude）、OpenAI（GPTモデル）、Google（Geminiなど）のAPI上で動作し、開発者がエージェントの振る舞いを最適化するための客観的な指標を提供します。主な用途としては、プロンプトエンジニアリングやシステムプロンプトの調整、スキルバンドルの構成変更が実際のタスク遂行能力に与える影響を定量的に評価することが挙げられます。また、オープンソースであるため、コミュニティによる拡張やカスタム評価シナリオの追加が可能で、AIエージェントの品質管理と継続的な改善を支援します。