agent-skill-bench は何をしますか？
エージェントスキルが実際に研究およびエンジニアリングタスクを向上させるかどうかをベンチマークします。
説明
このスキルは、AIエージェントのスキルが実際の開発作業や研究作業にどれだけ貢献するかを定量的に評価するためのベンチマークフレームワークを提供します。
使用方法
- 設定ファイル（
benchmark-config.yaml）を作成し、テストケースを定義します。 - 以下のコマンドでベンチマークを実行します：
agent-skill-bench run --config benchmark-config.yaml
- 結果は標準出力と
results/ディレクトリに出力されます。
評価指標
- タスク完了率
- 実行速度
- コード品質（静的解析スコア）
- 正確性（テスト合格率）
サポートプラットフォーム
- Claude Code
- Cursor
- Codex
設定例
benchmarks:
- name: "research-summary"
skill: "maximussthegreat/research-skill"
tasks:
- "与えられた論文の要約を生成する"
- "関連研究を調査する"
- name: "code-refactoring"
skill: "maximussthegreat/refactor-skill"
tasks:
- "レガシーコードをモダンなパターンにリファクタリングする"
- "ユニットテストを追加する"
結果の解釈
各テストケースについて、スキルあり/なしの両方のスコアが表示されます。スキルによる改善率が閾値（デフォルト10%）を超えた場合、そのスキルは「効果あり」と判定されます。
注意事項
- ベンチマーク結果は使用するモデルや環境に依存します。
- 結果の再現性を高めるため、同じ条件で複数回実行することを推奨します。