O que skillcheck faz?
🧪 Teste A/B de skills de agente — descubra se sua SKILL.md realmente ajuda o modelo ou é apenas um placebo. Ensaios cegos, intervalos de confiança bootstrap, um veredito: AJUDA / PLACEBO / PREJUDICA. Para skills em Claude Code, Codex, Gemini CLI e Cursor.
Por que isso importa?
Muitas skills são criadas com base em intuição, não em evidências. O skillcheck permite que você teste objetivamente:
- A skill melhora a precisão ou eficiência do agente?
- Ela não faz diferença significativa?
- Ela na verdade prejudica o desempenho?
Como funciona
- Defina sua tarefa de teste: Um prompt ou conjunto de tarefas que seu agente deve executar.
- Colete amostras: Execute a tarefa várias vezes com e sem a skill ativada.
- Avaliação cega: Um avaliador (humano ou modelo) classifica os resultados sem saber qual grupo é qual.
- Análise bootstrap: Intervalos de confiança são calculados para determinar a significância estatística.
- Veredito: AJUDA ✅, PLACEBO ➖, ou PREJUDICA ❌.
Uso
skillcheck run --task "Crie uma função para calcular Fibonacci" --skill ./SKILL.md --n-samples 10
Opções
| Opção | Descrição |
|---|---|
--task | Prompt ou caminho para arquivo de tarefa |
--skill | Caminho para seu SKILL.md |
--n-samples | Número de amostras por grupo (padrão: 10) |
--platform | Plataforma alvo: claude-code, codex, gemini-cli, cursor |
--blind | Ativar avaliação cega (recomendado) |
Plataformas suportadas
- Claude Code
- Codex (OpenAI)
- Gemini CLI (Google)
- Cursor
Exemplo de saída
Veredito: AJUDA ✅
Intervalo de confiança (95%): [0.12, 0.45]
Efeito médio: +0.28 (aumento de 28% na taxa de sucesso)
Notas
- Sempre execute com
--blindpara evitar viés de confirmação. - Use pelo menos 10 amostras por grupo para resultados razoáveis.
- Skills com efeito zero ou negativo podem ser descartadas ou revisadas.
Criado por sx4im.