Zhr65/SkillFresh

Tabela de Depreciação de Capacidades (skill-auditor)

Quando o modelo é atualizado, os skills / plugins instalados não geram erros, apenas pioram silenciosamente. Este skill transforma a "piora" em números mensuráveis.

Três julgamentos, cada um com suas evidências

Pergunta do usuário	Como julgar	Pré-condição chave
A capacidade regrediu?	Reexecutar o mesmo golden set no novo modelo: queda de aprovação ≥20pp com direção consistente	A impressão digital não mudou. Se a impressão digital mudou, foi "modificado", não regrediu
O novo skill/plugin é bom?	Ablação (com / sem ele) + taxa de adoção, calcula o benefício líquido	Sem controle, apenas "sensação boa"
Atende minhas necessidades?	Precisão de ativação (ativa quando deve, não ativa quando não deve) + conciliação de ambiente + linha de base de estilo	Usar prompts reais do histórico, não imaginados

Como ajustar

Quando o plugin tem ferramentas registradas, use as ferramentas (esta é a primeira opção):

• skill_audit_status — Tabela de depreciação: impressão digital / taxa de aprovação da linha de base / risco / julgamento
• skill_audit_recommend — Forte / Observação / Não verificado / Degradado / Candidato a poda, cinco níveis
• skill_audit_check — Verifica se o modelo atual mudou em relação à linha de base da última regressão
• skill_audit_scan — Redescobre ativos após instalar algo novo
• skill_audit_suggest — Quando a necessidade do usuário não é coberta por nenhum ativo, sugere o que adicionar

Sem interface de ferramentas (ex.: hosts que só possuem skills): use a CLI:

python <data-dir>/scripts/console.py --host deepseek status
python <data-dir>/scripts/console.py --host deepseek recommend
python <data-dir>/scripts/console.py --host workbuddy status --root ~/.workbuddy-ai/skills

<data-dir> padrão é ~/.dsh/skill-auditor (pode ser sobrescrito com SKILL_AUDITOR_HOME). O motor é Python 3.8+ da biblioteca padrão, sem dependências de terceiros.

Quando o usuário não tem skills / plugins disponíveis

Este é o mecanismo ativo deste skill, não espere o usuário perguntar:

1. Primeiro, verifique o registro de ativos instalados — se já há cobertura, não sugira novos (evite duplicatas);
2. Se realmente não houver → skill_audit_suggest --need "<necessidade em uma frase>";
3. Saída: "Sugestão de novo + termo de busca". A instalação requer confirmação do usuário, não instalar automaticamente.

Limites rígidos (deve relatar exatamente como são, sem embelezar)

• A linha de base com K=1 é autoavaliação, não conclusão estatística. Para decidir "regressão", K ≥ 3.
• O golden set pode conter amostras sintéticas (quando o histórico do usuário é insuficiente). Amostras sintéticas podem testar "se a estrutura está correta", mas não "se parece com você". Essas amostras são marcadas com "synthetic": true no arquivo.
• risk é um proxy do custo de manutenção (linhas + dependências de ferramentas), não representa valor. Alto risco não significa que deve ser removido.
• Remoção e instalação sempre requerem confirmação; remoção prefere "desativar / arquivar", não excluir silenciosamente.
• A atribuição de degradação tem apenas quatro categorias, não as expanda: erro de chamada de ferramenta → corrigir descrição da ferramenta; saída com estrutura correta mas conteúdo errado → reescrever instruções; deveria ativar mas não ativou → modificar descrição de ativação; tudo correto no meio mas estado final errado → só então pode ser regressão de capacidade do modelo.

Ações após julgamento

Julgamento	Ação
strong	Manter, pode recomendar em destaque
watch	Manter, priorizar reexecução na próxima troca de modelo
unverified	Primeiro criar golden set (3–5 prompts reais) para julgar, não remover ainda
degraded	Primeiro atribuir causa, depois decidir reescrever ou desativar; não remover diretamente
prune-candidate	Sem linha de base + alto custo de manutenção → sugerir avaliação, não remover automaticamente