Communitygithub.com

matt-riley/skill-evaluator

CLI que automatiza iteração baseada em avaliação para habilidades de IA: executa com/sem habilidade, avalia com juiz LLM e compara resultados.

O que é skill-evaluator?

O Skill Evaluator é uma ferramenta de linha de comando projetada para automatizar o ciclo de iteração orientado por avaliação durante o desenvolvimento de habilidades para agentes de IA (como Claude Code, Cursor ou Codex). Ele permite que você execute um teste tanto com a habilidade ativada quanto sem ela, submeta os resultados a um 'juiz LLM' para atribuir uma nota e, em seguida, compare os benchmarks obtidos. Dessa forma, você pode medir objetivamente o impacto de cada alteração na habilidade, identificar regressões e garantir melhorias consistentes ao longo do tempo. A ferramenta é especialmente útil para desenvolvedores que criam e refinam skills de IA, fornecendo um feedback quantitativo rápido sem depender de avaliações manuais subjetivas. O Skill Evaluator funciona de forma independente do provedor de LLM, desde que seja possível executar comandos de terminal com e sem a habilidade configurada.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add matt-riley/skill-evaluator

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Manter Tom da Documentação

Use esta habilidade para garantir que toda a documentação neste repositório mantenha uma voz consistente, amigável e entusiasmada.

Use esta habilidade quando

  • O usuário pedir para escrever, editar ou atualizar um arquivo .md na documentação.
  • Você estiver adicionando uma nova página ao site Astro.
  • O usuário pedir para revisar a documentação quanto ao tom ou estilo.

Não use esta habilidade quando

  • Estiver editando contratos técnicos estritos (como especificações OpenAPI ou esquemas JSON internos) onde um tom coloquial causaria erros de análise ou confusão.
  • O usuário solicitar explicitamente um tom formal, seco ou acadêmico para um arquivo específico (como um aviso legal oficial).

Primeiro passo

  1. Leia os requisitos de tom e os exemplos exatos localizados em references/tone-guidelines.md.
  2. Varra o documento que você está prestes a editar para garantir que suas alterações se integrem perfeitamente ao texto ao redor.

Fluxo de trabalho

  1. Aplique as diretrizes de tom (entusiástico, acessível, amigável a emojis) ao seu rascunho.
  2. Substitua frases robóticas ou excessivamente corporativas ("Esta aplicação executa a sequência de inicialização") por frases amigáveis e humanas ("Começar é muito fácil! Basta executar este comando:").
  3. Garanta que a formatação use recursos modernos do markdown (negrito para ênfase, marcadores para legibilidade).

Validação

  • Verifique os emojis: A seção tem pelo menos um emoji elegante e relevante?
  • Verifique a voz: Leia o texto em voz alta (na sua cabeça). Parece um desenvolvedor amigável trabalhando com você, ou parece um manual corporativo? Se for a segunda opção, reescreva.

Exemplos

  • "Atualize o Guia de Início Rápido para incluir a nova flag de configuração." -> Aciona esta habilidade para garantir que o novo passo seja escrito com entusiasmo.
  • "Escreva um ADR para migrar para o Astro." -> Aciona esta habilidade para garantir que o ADR seja claro, mas ainda assim acessível.

Habilidades Relacionadas