Bewerte LLMs richtig — Konfidenzintervalle, unverzerrtes pass@k, Signifikanztests, bias-kontrollierter LLM-as-Judge, Kontaminationsprüfungen. Ein einsatzbereiter Agenten-Skill mit einem gegen Ground Truth validierten numpy-Statistik-Kern.
Evalkit ist ein spezialisierter Skill für KI-Agenten (wie Claude Code, Cursor, Codex), der eine robuste statistische Evaluierung von Large Language Models ermöglicht. Der Skill bietet Funktionen zur Berechnung von Konfidenzintervallen, unverzerrtem pass@k, Signifikanztests, bias-kontrolliertem LLM-as-Judge sowie Kontaminationsprüfungen. Er nutzt einen numpy-basierten Statistik-Kern, der gegen Ground Truth validiert wurde, und kann als Drop-in-Skill in bestehende Workflows integriert werden. Damit eignet sich Evalkit ideal für Entwickler und Forscher, die LLMs objektiv und reproduzierbar bewerten möchten, ohne auf komplexe externe Tools angewiesen zu sein.
npx skills add azrabano23/evalkitInstalled? Explore more Codierung & Entwicklung skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
Bewerte LLMs richtig — Konfidenzintervalle, unverzerrtes pass@k, Signifikanztests, bias-kontrollierter LLM-as-Judge, Kontaminationsprüfungen. Ein einsatzbereiter Agenten-Skill mit einem gegen Ground Truth validierten numpy-Statistik-Kern.
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.