Évaluez les LLMs correctement — intervalles de confiance, pass@k non biaisé, tests de significativité, LLM-juge avec contrôle des biais, vérifications de contamination. Une compétence d'agent prête à l'emploi avec un noyau statistique numpy validé par rapport à la vérité terrain.
Cette compétence, `azrabano23/evalkit`, fournit une boîte à outils d'évaluation statistiquement rigoureuse pour les LLMs, conçue pour être intégrée de manière transparente dans les agents d'IA comme Claude Code, Cursor ou Codex. Elle comble le fossé entre les métriques d'évaluation naïves et les méthodes statistiques solides en offrant des intervalles de confiance pour les scores, une estimation non biaisée du pass@k, des tests de significativité pour comparer les modèles, un juge LLM avec contrôle des biais pour les évaluations qualitatives, et des vérifications de contamination des données d'entraînement. Son cœur est implémenté en utilisant numpy, garantissant des performances rapides et une large compatibilité. La validité de ses calculs est confirmée par des tests contre des vérités terrain connues, ce qui en fait un choix fiable pour les développeurs et les chercheurs qui ont besoin de mesures d'évaluation précises et reproductibles pour leurs LLMs.
npx skills add azrabano23/evalkitInstalled? Explore more Développement et programmation skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
Évaluez les LLMs correctement — intervalles de confiance, pass@k non biaisé, tests de significativité, LLM-juge avec contrôle des biais, vérifications de contamination. Une compétence d'agent prête à l'emploi avec un noyau statistique numpy validé par rapport à la vérité terrain.
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.