Revisão de Design de Skill

O que Revisão de Design de Skill faz?

Objetivo

Usar um loop de avaliação para determinar se uma skill alvo ainda merece existir, se ela realmente melhora a execução de tarefas e qual a menor alteração que deve ser feita em seguida.

Prefira testes concretos a críticas abstratas. O resultado esperado é uma decisão de disposição, um quadro de pontuação preenchido e uma ação direcionada: manter, simplificar, mesclar, re-escrever, excluir ou aplicar patch na skill, dependendo das evidências e das permissões de edição do usuário.

Entradas

Colete ou infira estas entradas antes de pontuar:

• Caminho da skill alvo ou nome da skill.
• Dois casos de teste realistas com estilos de usuário diferentes. Cada caso de teste deve incluir a solicitação do usuário e qualquer artefato de entrada, arquivo ou contexto necessário para executá-lo.
• Forma de saída esperada para cada caso de teste.
• Sobreposição candidata: qualquer skill próxima, capacidade integrada, ferramenta, script, modelo ou instrução de nível superior que possa tornar a skill alvo desnecessária.

Se o usuário não forneceu casos de teste, elabore dois casos realistas a partir do propósito da skill e indique que foram inferidos.

Loop de Avaliação

1. Inspecione a skill alvo. Leia seu SKILL.md completamente. Leia arquivos referenciados apenas quando necessário para entender o fluxo de trabalho sendo testado.

2. Avalie a necessidade antes de melhorar. Decida se a skill fornece valor duradouro além de um agente generalista forte. Vale a pena manter uma skill quando ela fornece pelo menos um dos seguintes:

   • Conhecimento de domínio não óbvio que um agente generalista frequentemente perderia.
   • Um fluxo de trabalho repetível que previne falhas comuns.
   • Conhecimento de ferramenta, script, ativo, modelo ou roteamento de arquivos.
   • Padrões de saída que devem permanecer estáveis entre execuções.
   • Julgamento, terminologia ou memória de processo específicos da organização.
   • Evidência de que usar a skill melhora a qualidade em relação a uma linha de base sem ela.

   Uma skill deve ser simplificada, mesclada, re-escrita ou excluída quando:

   • Ela apenas reafirma padrões gerais de raciocínio.
   • Um agente de linha de base já tem desempenho igualmente bom sem ela.
   • Ela adiciona instruções longas, mas nenhum ganho de qualidade mensurável.
   • Ela entra em conflito com instruções de sistema/desenvolvedor de nível superior.
   • Ela preserva principalmente comportamento de ferramenta desatualizado ou fluxos de trabalho obsoletos.
   • Ela se sobrepõe fortemente a outra skill mais forte.

3. Prepare os testes. Use dois casos de teste que diferem em tom, especificidade ou tipo de artefato. Inclua pelo menos uma solicitação comum e uma solicitação de borda ou ambígua.

4. Execute uma comparação de linha de base. Para cada caso de teste, compare como a tarefa seria tratada sem a skill alvo versus com a skill alvo. Se uma linha de base limpa for impossível porque a skill já foi lida, marque a linha de base como "melhor esforço / contaminada" em vez de fingir que é independente. Quando subagentes independentes ou tarefas novas estiverem disponíveis e forem seguros de usar, execute a passagem com a skill separadamente da passagem de linha de base. Passe apenas a skill alvo, a solicitação do usuário e os artefatos brutos; não passe o diagnóstico esperado ou a correção planejada.

5. Pontue com a rubrica. Leia references/rubric.md antes de atribuir pontuações. Pontue necessidade da skill, comportamento de ativação, orientação de fluxo de trabalho, formato de saída e qualidade de conteúdo. Adicione evidências breves para cada pontuação que não seja perfeita.

6. Escolha uma disposição. Selecione exatamente uma disposição:

   • Manter: a skill claramente melhora os resultados e não é muito custosa.
   • Manter, mas simplificar: a skill é útil, mas tem instruções em excesso, exemplos fracos ou detalhes desatualizados.
   • Mesclar: a skill é útil, mas pertence principalmente dentro de outra skill mais forte.
   • Re-escrever: a skill é valiosa em intenção, mas estruturalmente pouco clara ou enganosa.
   • Excluir: a skill não adiciona valor mensurável além da linha de base ou está obsoleta.
   • Patch: a skill vale a pena ser mantida e tem uma lacuna estreita e de alto impacto.

7. Revise e re-execute. Se a disposição for Patch, Manter, mas simplificar, Mesclar, Re-escrever ou Excluir, faça a menor alteração de arquivo baseada em evidências permitida pelo usuário. Para Mesclar ou Excluir, não remova conteúdo a menos que o usuário tenha pedido explicitamente uma limpeza destrutiva; caso contrário, recomende a ação exata de mesclagem/exclusão. Aplique o patch na skill alvo apenas onde a evidência mostra uma lacuna, então re-execute o teste afetado ou a verificação de rubrica. Registre se a pontuação mudou e por quê. Se o usuário proibir edições ou pedir apenas revisão, não aplique patches nos arquivos. Em vez disso, descreva o menor patch recomendado e re-pontue o critério afetado como uma projeção de simulação, marcando claramente o arquivo real como inalterado.

Formato de Saída

Retorne o resultado nesta ordem:

1. Veredito Indique se a skill passa, passa condicionalmente ou falha, e dê a disposição: Manter, Manter mas simplificar, Mesclar, Re-escrever, Excluir ou Patch.

2. Avaliação de Necessidade Indique o valor duradouro que a skill fornece, quais sobreposições com a capacidade do agente de linha de base ou skills próximas, e por que a skill deve ou não continuar ocupando contexto.

3. Casos de Teste Liste os dois casos de teste e as formas de saída esperadas.

4. Quadro de Pontuação Forneça uma tabela com critério, pontuação, evidência e correção.

5. Comparação Resuma a diferença com a skill versus sem a skill.

6. Ação Direcionada Descreva a alteração exata feita ou recomende a menor ação de manter/simplificar/mesclar/re-escrever/excluir/patch se o usuário pediu apenas revisão.

7. Resultado da Re-execução Indique o que mudou após a revisão, incluindo qualquer risco restante.

Regras de Julgamento

• Passa quando todos os critérios obrigatórios pontuam 2 e a pontuação total é de pelo menos 9 em 10.
• Passa condicionalmente quando a pontuação total é 6-8 ou um critério obrigatório pontua 1.
• Falha quando qualquer critério obrigatório pontua 0 ou a pontuação total está abaixo de 6.
• Os critérios obrigatórios são necessidade da skill, comportamento de ativação, formato de saída e qualidade de conteúdo.
• Não otimize apenas pela aparência. Prefira alterações que façam o próximo agente saber o que fazer, quando fazer e o que produzir.
• Mantenha as revisões estreitas, mensuráveis e vinculadas a uma falha de teste.
• Prefira recomendações de exclusão ou mesclagem em vez de polimento quando a skill não produz mais ganho mensurável sobre um agente de linha de base.