Skill: vale a pena instalar?
Uma frase: Determinar se um skill realmente funciona ou é só conversa bonita.
No marketplace, muitos skills têm alta contagem de downloads mas, quando instalados, não fazem nada — os arquivos são preenchidos com frases genéricas como "nível de risco" ou "faixa de controle de acesso", ou o próprio autor escreve "detalhes de implementação a serem preenchidos". Scanners de segurança não os detectam, porque eles não roubam dados — eles simplesmente não fazem nada.
Esta skill verifica exatamente isso.
Quando usar
- Viu um skill no marketplace e está na dúvida → avalie antes de instalar
- Instalou e parece não funcionar → verifique se é um skill vazio
- Tem vários skills instalados e quer organizar → audite todos, ordenados por pontuação
- Criou seu próprio skill e quer garantir que outros possam usá-lo de verdade → faça uma autoavaliação
Como usar
pip install git+https://github.com/hsiu1214/skill-worth.git
(Ainda não está no PyPI, instale diretamente do repositório)
Avaliar um skill não instalado:
skill-worth check /caminho/para/algum-skill
Auditar todos os skills já instalados (procura automaticamente em diretórios comuns do WorkBuddy / Claude Code / Codex):
skill-worth check
Analisar o marketplace (baixa e testa uma amostra de skills populares, precisa de internet):
skill-worth market --top 30
Após executar, gera o arquivo skill-worth-report.html no diretório atual — é só clicar duas vezes para abrir. Use --open para abrir automaticamente ou --json out.json para salvar os dados brutos.
Se não quiser instalar o pacote, pode executar o código fonte diretamente:
python -m skill_worth check /caminho/para/skill
Como interpretar os resultados
Três categorias:
| Categoria | Significado | O que fazer |
|---|---|---|
| Vale a pena (70+ pontos) | Tem código executável e descreve claramente o que faz | Instale e use |
| Depende (40–69) | Não é vazio, mas tem limitações | Depende da sua necessidade; não espere que seja universal |
| Não instale (menos de 40) | As funcionalidades declaradas não têm implementação | Não instale; se já instalou, pode remover |
Além da categoria, há uma conclusão em uma frase e alguns motivos. Os motivos têm um link "ver evidências" que mostra a contagem real de arquivos, linhas e quais arquivos estão faltando.
Critérios de avaliação
Falta de código não significa inutilidade. Este é o erro mais comum, então vamos esclarecer:
- Tipo conhecimento: Uma lista de verificação, um método de escrita, um fluxo de diagnóstico. Seu valor está no texto, não precisa de código.
skill-vetter(140 mil downloads) é um documento puro de 140 linhas — é perfeitamente válido. - Tipo prático: Declara que vai raspador dados, executar motores, processar em lote, chamar APIs. Se não tiver código, é vazio.
Se tiver dúvida, veja como o skill se descreve: se diz "ensina a identificar", é de conhecimento; se diz "raspa dados para você", é prático.
Cinco dimensões, pesos totalizando 100 pontos:
| Dimensão | Peso | O que avalia |
|---|---|---|
| Funcionalidade real | 40 | Possui código executável? Se for só documentação, os passos/lista/exemplos estão completos? |
| Consistência com a descrição | 25 | O que diz corresponde ao que faz? Os arquivos mencionados realmente existem? |
| Clareza da descrição | 15 | Consegue explicar seu propósito em uma frase? Tem muitos termos de gatilho? |
| Segurança | 10 | Exclui arquivos, execução dinâmica, chaves criptografadas? |
| Manutenção | 10 | Estrutura de diretórios é completa? Há texto genérico de template? |
Se qualquer um dos itens abaixo for verdadeiro, classifique como "Não instale" independentemente da pontuação total:
- O autor declara explicitamente "ainda não implementado"
- Declara fazer algo prático, mas não contém nenhum arquivo de código
- Contém arquivos de código, mas eles só têm
pass/TODO/ funções vazias
Há um item que gera apenas aviso, não desclassificação: O nome da ferramenta mencionado no documento não corresponde ao ambiente atual. Isso porque o nome da ferramenta varia conforme o ambiente — uma mesma função de raspagem pode se chamar WebFetch aqui e web_fetch ali. Tratar isso como erro fatal causaria falsos positivos entre plataformas, então apenas registramos como sugestão para você confirmar.
Exemplos testados
| Skill | Resultado | Motivo |
|---|---|---|
multi-search-engine (2,04 milhões de downloads) | Não instale | Declara 16 mecanismos de busca, zero scripts — o que diz não condiz com o que tem |
summarize (46 mil downloads) | Não instale | 2 arquivos totalizando 3,5KB; o próprio autor afirma "gerado automaticamente a partir de especificação de planejamento, detalhes de implementação a serem preenchidos" |
skill-vetter (140 mil downloads) | Vale a pena | Apenas documentação, mas contém protocolo de revisão em 4 etapas + formato de saída + comando executável |
self-improving-agent (86 mil downloads) | Vale a pena | 5 arquivos de código reais, hook faz apenas injeção em memória, zero conexões externas |
Os dois primeiros somam mais de 2 milhões de instalações, mas são vazios. Quantidade de downloads não tem relação com qualidade.
Dados reais do marketplace em outubro de 2026 (amostra de 30 skills populares com ≥500 instalações, 28 analisados com sucesso):
- 24 valem a pena, 1 depende, 3 não instale (11%)
- Esses 28 skills totalizam 552 mil instalações; os 3 considerados "não instale" representam 105 mil instalações
- Os motivos para esses 3 serem reprovados são idênticos e todos vieram do mesmo lote de sincronização espelhada — mesma série de templates produzida em massa
Limitações
- Apenas análise estática, não executa nenhum código do skill analisado
- Não avalia "o código está correto?", apenas "o código existe?"
- Skills com descrição curta mas realmente úteis podem ser subavaliados
- Por outro lado, skills com descrição bonita mas difíceis de usar podem ser superavaliados — esta ferramenta verifica "existe?", não "é bom?"
Privacidade
Ao gerar o relatório, os caminhos absolutos da máquina e namespaces internos são automaticamente removidos; skillsDir exibe apenas os dois últimos níveis. O relatório pode ser compartilhado com outras pessoas sem preocupação.