ResearchClawBench は何をしますか?
🦞 ResearchClawBench: AIエージェントの自動研究能力を「再発見」から「新発見」まで評価するベンチマーク
ResearchClawBenchは、AIエージェントの科学研究自動化能力を評価するための包括的なベンチマークです。このベンチマークは、以下の研究フェーズをカバーします:
- 文献調査と知識の再現(再発見)
- 仮説生成と実験計画
- データ分析と結果の解釈
- 新しい知見の獲得(新発見)
対応プラットフォーム
- Claude Code
- Cursor
- Codex
- その他(随時追加予定)
使用方法
# 評価を実行する
python run_benchmark.py --agent claude --task rediscovery
評価指標
| 指標 | 説明 |
|---|---|
| 再現性 | 既存の研究成果を正しく再現できるか |
| 効率性 | 研究プロセスをどれだけ効率的に実行できるか |
| 創造性 | 新しい仮説や発見を生み出せるか |
ライセンス
MIT License