O que gerador-de-testes-de-habilidade faz?
Pipeline automatizado para gerar e ajustar a dificuldade de benchmarks de habilidades de agentes de IA
Pipeline automatizado para gerar e ajustar a dificuldade de benchmarks de habilidades de agentes de IA
O RohanT766/skill-test-generator é uma ferramenta que automatiza a criação e o ajuste de dificuldade de benchmarks para medir as habilidades de agentes de IA. Ele oferece um pipeline completo que permite gerar conjuntos de testes personalizados, ajustando dinamicamente o nível de dificuldade com base no desempenho do agente. Isso é particularmente útil para desenvolvedores que trabalham com agentes de IA em plataformas como Claude Code, Cursor ou Codex, pois permite avaliar e comparar capacidades de forma sistemática. A ferramenta funciona a partir de um arquivo SKILL.md que descreve a habilidade a ser testada, utilizando então um processo automatizado para criar testes desafiadores e calibrar sua complexidade. Com isso, é possível estabelecer benchmarks reprodutíveis e significativos para o avanço e a avaliação de agentes de IA.
npx skills add RohanT766/skill-test-generatorInstalled? Explore more Programação e Desenvolvimento skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
Pipeline automatizado para gerar e ajustar a dificuldade de benchmarks de habilidades de agentes de IA
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.