azrabano23/evalkit

evalkit 是什么？

azrabano23/evalkit 是一个专为AI Agent设计的评估工具包，旨在提供严谨、科学的LLM评估方法。它通过集成numpy统计核心，支持置信区间计算、无偏pass@k指标、显著性检验、偏差控制的LLM-as-judge以及污染检测等关键功能。该工具包作为即插即用的Agent技能，可直接集成到Claude Code、Cursor、Codex等支持Agent功能的平台中。其核心优势在于所有统计方法均经过真实数据验证，确保评估结果的可靠性和无偏性。对于需要高质量LLM评估的开发者来说，evalkit提供了从基础指标到高级统计分析的一站式解决方案，帮助用户避免常见评估陷阱，获得可信的结果。