Community程式設計與開發github.com

azrabano23/evalkit

以正確的方式評估 LLM——信賴區間、無偏 pass@k、顯著性檢定、偏差控制的 LLM 評審、污染檢測。一個即插即用的代理技能,具備經過 ground truth 驗證的 numpy 統計核心。

evalkit 是什麼?

azrabano23/evalkit 是一個專為 AI 代理設計的技能,旨在提供嚴謹的 LLM 評估方法。它內建了基於 numpy 的統計核心,並已透過 ground truth 驗證,確保結果可靠。此技能支援多種平台,如 Claude Code、Cursor 和 Codex,讓開發者能直接整合使用。其主要功能包括計算信賴區間、執行無偏的 pass@k 評估、進行顯著性檢定、透過偏差控制的 LLM 作為評審,以及檢測資料污染,幫助使用者避免常見的評估陷阱,做出更明智的模型選擇。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add azrabano23/evalkit

Installed? Explore more 程式設計與開發 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

evalkit 是做什麼的?

以正確的方式評估 LLM——信賴區間、無偏 pass@k、顯著性檢定、偏差控制的 LLM 評審、污染檢測。一個即插即用的代理技能,具備經過 ground truth 驗證的 numpy 統計核心。

相關技能