azrabano23/evalkit

evalkit とは？

Evalkitは、LLM（大規模言語モデル）の評価を科学的に、かつ正確に行うためのAIエージェント向けスキルです。従来の単純な正解率計算では得られない、統計的に頑健な評価指標を提供します。具体的には、母集団推定のための信頼区間、サンプルサイズ補正済みの不偏pass@k、モデル間の性能差が偶然かどうかを判定する有意差検定、LLM自体を評価者として使う際のバイアスを制御するLLM-as-Judge、テストセット汚染の検出など、実務レベルの評価手法を実装しています。コアはnumpyで書かれており、検証済みの統計理論に基づいているため、信頼性が高いのが特徴です。Claude Code、Codex、Cursor、Copilot、Continue、Gemini Code Assistなど、さまざまなAIエージェントプラットフォームでドロップイン（追加設定不要で即利用可能）として動作します。使い方は簡単で、evalkit機能を呼び出すだけで、評価結果とともに統計的裏付けを得ることができます。これにより、ユーザーは「このモデルは本当に優れているのか？」という疑問に、証拠に基づいて答えられるようになります。