Evalúa LLMs de la manera correcta: intervalos de confianza, pass@k no sesgado, pruebas de significancia, LLM como juez con control de sesgos y comprobaciones de contaminación. Una skill de agente lista para usar con un núcleo estadístico numpy validado contra datos reales.
azrabano23/evalkit es una skill diseñada para agentes de IA (como Claude Code, Cursor, Codex) que permite evaluar modelos de lenguaje (LLMs) de manera rigurosa y estadísticamente sólida. Proporciona herramientas para calcular intervalos de confianza, estimar pass@k de forma no sesgada, realizar pruebas de significancia (como el test de permutación), implementar un juez LLM con control de sesgos y detectar contaminación en los datos de evaluación. Está construida sobre un núcleo matemático con numpy y scipy, ofreciendo funciones modulares que encajan directamente en flujos de trabajo existentes. La skill ha sido validada contra datos de referencia (ground truth) y está diseñada para ser un reemplazo directo (drop-in) en entornos de desarrollo, lo que facilita su integración y uso para investigadores y desarrolladores que buscan evaluaciones confiables y reproducibles.
npx skills add azrabano23/evalkitInstalled? Explore more Programación y desarrollo skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
Evalúa LLMs de la manera correcta: intervalos de confianza, pass@k no sesgado, pruebas de significancia, LLM como juez con control de sesgos, comprobaciones de contaminación. Una skill de agente lista para usar con un núcleo estadístico numpy validado contra datos reales.
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.