derberg/eval-bench

eval-bench とは？

このスキルは、Claude Code向けに開発されたプラグイン、スキル、エージェント、MCP（Model Context Protocol）のパフォーマンスを、A/Bテスト形式でベンチマークするためのツールです。開発者は二つの異なるバージョン（例：従来版と改良版）を用意し、LLM（大規模言語モデル）が判定する評価プロンプトを用いて、どちらのバージョンがより優れた結果を生成するかを客観的に比較できます。これにより、コードの変更や設定の調整が実際のタスク実行に与える影響を定量的に測定し、改善の方向性を明確にできます。主にClaude Code環境で利用することを想定しており、スキル開発やエージェントのチューニングにおいて、反復的な品質向上を支援します。