Avalie LLMs da forma correta — intervalos de confiança, pass@k não enviesado, testes de significância, LLM-como-juiz com controle de viés, verificações de contaminação. Uma habilidade de agente plugável com núcleo estatístico em numpy validado contra ground truth.
O evalkit é uma habilidade de agente de IA projetada para fornecer avaliação estatisticamente rigorosa de modelos de linguagem (LLMs). Ele integra métodos como intervalos de confiança, pass@k não enviesado, testes de significância, um juiz LLM com controle de viés e verificações de contaminação. Seu núcleo é implementado em numpy, garantindo eficiência e precisão, e foi validado contra dados de ground truth para assegurar resultados confiáveis. Esta ferramenta é útil para desenvolvedores e pesquisadores que desejam avaliar LLMs de forma robusta, evitando vieses comuns e garantindo significância estatística em seus experimentos. É uma solução plugável que pode ser facilmente integrada em pipelines de avaliação de agentes de IA.
npx skills add azrabano23/evalkitInstalled? Explore more Programação e Desenvolvimento skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
Avalie LLMs da forma correta — intervalos de confiança, pass@k não enviesado, testes de significância, LLM-como-juiz com controle de viés, verificações de contaminação. Uma habilidade de agente plugável com núcleo estatístico em numpy validado contra ground truth.
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.