evalkit 是做什麼的?
以正確的方式評估 LLM——信賴區間、無偏 pass@k、顯著性檢定、偏差控制的 LLM 評審、污染檢測。一個即插即用的代理技能,具備經過 ground truth 驗證的 numpy 統計核心。
以正確的方式評估 LLM——信賴區間、無偏 pass@k、顯著性檢定、偏差控制的 LLM 評審、污染檢測。一個即插即用的代理技能,具備經過 ground truth 驗證的 numpy 統計核心。
azrabano23/evalkit 是一個專為 AI 代理設計的技能,旨在提供嚴謹的 LLM 評估方法。它內建了基於 numpy 的統計核心,並已透過 ground truth 驗證,確保結果可靠。此技能支援多種平台,如 Claude Code、Cursor 和 Codex,讓開發者能直接整合使用。其主要功能包括計算信賴區間、執行無偏的 pass@k 評估、進行顯著性檢定、透過偏差控制的 LLM 作為評審,以及檢測資料污染,幫助使用者避免常見的評估陷阱,做出更明智的模型選擇。
npx skills add azrabano23/evalkitInstalled? Explore more 程式設計與開發 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
以正確的方式評估 LLM——信賴區間、無偏 pass@k、顯著性檢定、偏差控制的 LLM 評審、污染檢測。一個即插即用的代理技能,具備經過 ground truth 驗證的 numpy 統計核心。
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.