ai-agents-reality-check は何をしますか？
🤖 AIエージェントの能力をベンチマークし、誇大広告と現実のギャップを埋めるための明確な指標と洞察を提供します。情報に基づいた開発判断を支援します。
概要
このスキルは、AIエージェント（Claude Code、Cursor、Codexなど）の実際のパフォーマンスを体系的に評価するためのベンチマークフレームワークです。様々な開発タスクにおけるエージェントの成功率、処理速度、正確性を測定し、客観的なデータを提供します。
主な機能
- マルチタスクベンチマーク: コード生成、デバッグ、リファクタリング、文書化など、様々な開発タスクをテスト
- メトリクス収集: 成功率、実行時間、エラー率、コード品質などの指標を自動収集
- 比較分析: 異なるエージェントや設定間のパフォーマンスを比較
- レポート生成: 結果を構造化されたMarkdownレポートとして出力
- 経時追跡: エージェントのアップデートや設定変更によるパフォーマンス変化を追跡
使用方法
# ベンチマークの実行
reality-check run
# 特定のタスクカテゴリのみテスト
reality-check run --category code-generation
# カスタム設定で実行
reality-check run --config custom-config.yml
サポートされているプラットフォーム
- Claude Code
- Cursor
- Codex
- GitHub Copilot
- その他のAIエージェント
ベンチマークカテゴリ
| カテゴリ | 説明 | テスト数 |
|---|---|---|
| コード生成 | 新しい機能の実装 | 20 |
| デバッグ | バグの特定と修正 | 15 |
| リファクタリング | コードの改善と最適化 | 10 |
| テスト作成 | 単体テストと統合テストの生成 | 12 |
| 文書化 | コードコメントとドキュメントの作成 | 8 |
設定
設定ファイル（reality-check.yml）を使用して、ベンチマークの動作をカスタマイズできます。
version: "1.0"
benchmark:
timeout: 300
max_retries: 3
output_dir: "./reports"
agents:
- name: "claude-code"
command: "claude"
- name: "cursor"
command: "cursor"
出力例
Benchmark Report: 2024-01-15
Agent: Claude Code
- コード生成: 成功率 85% (17/20), 平均時間 45秒
- デバッグ: 成功率 73% (11/15), 平均時間 120秒
- リファクタリング: 成功率 90% (9/10), 平均時間 60秒
総合スコア: 82.5/100
貢献
ベンチマークテストの追加や改善に関するプルリクエストを歓迎します。詳細はCONTRIBUTING.mdを参照してください。
ライセンス
MIT