Community研究&データ分析github.com

linny006/agent-eval-harness

実際のGitHub Issueを使用してAIコーディングエージェントを比較する、ライブでオープンソースのベンチマーク

agent-eval-harness とは?

linny006/agent-eval-harnessは、実際のGitHub Issueをベースにしたライブベンチマークを提供するオープンソースツールです。複数のAIコーディングエージェント(Claude Code、Cursor、Codexなど)の性能を、実世界の問題解決能力で比較評価できます。開発者は自身のエージェントスタックをテストし、客観的なスコアを取得することで、最適なツール選択やワークフロー改善に活用できます。このハーネスは、実際のGitHubリポジトリからIssueを取得し、エージェントに解決させた結果を自動的に評価・集計する仕組みを提供します。

対応~Claude Code~Codex CLI~Cursor
npx skills add linny006/agent-eval-harness

Installed? Explore more 研究&データ分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

お気に入りのAIに質問する

このエージェントスキルを事前に読み込んだ状態で新しいチャットを開きます。

ドキュメント

agent-eval-harness は何をしますか?

実際のGitHub Issueを使用してAIコーディングエージェントを比較する、ライブでオープンソースのベンチマーク

関連スキル