trajectoryRL/trajrl-bench

trajrl-bench とは？

TrajRL-Benchは、AIエージェント（例：Claude Code、Cursor、Codex）のスキルを評価・ベンチマークするためのツールです。SSH経由でサンドボックス環境に接続し、モックサービスを利用して安全にテストを実行します。スコアリングにはLLM（大規模言語モデル）ジャッジを使用し、高い評価の一貫性を実現。さらに、分割半数デルタ評価法を採用することで、スキルの改善効果を統計的に検出します。これにより、エージェントのパフォーマンスを客観的かつ再現性高く測定でき、開発者は改善点を明確に把握できます。結果はtrajrl.com/benchのリーダーボードで公開され、コミュニティ全体での比較が可能です。