Skill : en vaut-il la peine ?
En une phrase : déterminez si un skill fait vraiment le travail, ou s'il n'est que de belles paroles.
Sur les marketplaces, beaucoup de skills affichent des téléchargements élevés mais ne font rien une fois installés — leurs fichiers sont remplis de phrases toutes faites comme « niveau de risque », « seuil de contrôle d'accès », ou l'auteur écrit lui-même « détails d'implémentation à compléter ». Les scanners de sécurité ne les signalent pas, car ils ne volent rien : ils ne font tout simplement rien.
Ce skill vérifie cela.
Quand l'utiliser
- Vous voyez un skill sur le marketplace et hésitez à l'installer → évaluez-le d'abord.
- Vous l'avez installé mais il semble inefficace, vous voulez savoir s'il est inutile → vérifiez.
- Vous avez installé beaucoup de skills et souhaitez faire le ménage → tout analyser et trier par score.
- Vous avez créé votre propre skill et voulez vous assurer qu'il est réellement utilisable → auto-vérification.
Comment l'utiliser
pip install git+https://github.com/hsiu1214/skill-worth.git
(Pas encore sur PyPI, installez directement depuis le dépôt)
Évaluer un skill non encore installé :
skill-worth check /chemin/vers/un-skill
Analyser tous les skills déjà installés (recherche automatique dans les répertoires courants de WorkBuddy, Claude Code, Codex, etc.) :
skill-worth check
Examiner l'état général du marketplace (télécharge et teste un ensemble de skills populaires, nécessite une connexion réseau) :
skill-worth market --top 30
Après exécution, un rapport skill-worth-report.html est généré dans le répertoire courant : double-cliquez pour l'ouvrir. Ajoutez --open pour l'ouvrir directement, ou --json out.json pour sauvegarder les données brutes.
Vous pouvez aussi exécuter le code source directement sans installation :
python -m skill_worth check /chemin/vers/skill
Comment interpréter les résultats
Trois niveaux :
| Niveau | Signification | Que faire |
|---|---|---|
| Vaut la peine (score ≥ 70) | Contient du code fonctionnel et décrit clairement ce qu'il fait | Installez-le |
| À voir selon vos besoins (score 40–69) | N'est pas une coquille vide, mais présente des lacunes | À utiliser si vous avez besoin de cette fonctionnalité, sans attendre une solution universelle |
| Ne pas installer (score < 40) | Les fonctionnalités annoncées n'ont pas d'implémentation | Ne l'installez pas ; désinstallez-le s'il est déjà présent |
En plus du niveau, un résumé en une phrase et plusieurs raisons sont fournis. Les raisons incluent un lien « Voir les preuves » qui liste le nombre réel de fichiers, le nombre de lignes, et les fichiers manquants.
Critères d'évaluation
L'absence de code ne signifie pas inutilité. C'est l'erreur la plus courante, donc clarifions-la :
- Skill de type connaissance : une checklist d'inspection, une méthode d'écriture, un processus de diagnostic. Sa valeur réside dans le texte, pas dans le code.
skill-vetter(140 000 téléchargements) est un document pur de 140 lignes, il est tout à fait valable. - Skill de type action : prétend aspirer des données, exécuter un moteur, traiter par lots, appeler des API. Si ce type de skill n'a pas de code, il est vide.
En cas de doute, regardez comment il se décrit : « vous apprend à juger » est un type connaissance ; « aspire pour vous » est un type action.
Cinq dimensions, score total sur 100 :
| Dimension | Poids | Ce qui est examiné |
|---|---|---|
| Fonctionnalité réelle | 40 | Présence de code exécutable ; pour de la documentation pure, les étapes/checklists/exemples sont-ils complets ? |
| Promesses tenues | 25 | Ce qui est dit correspond-il à ce qui est fait ? Les fichiers mentionnés existent-ils vraiment ? |
| Clarté de la description | 15 | La description en une phrase explique-t-elle l'usage ? Y a-t-il trop de mots-clés de déclenchement ? |
| Sécurité | 10 | Y a-t-il des suppressions, de l'exécution dynamique, des clés codées en dur ? |
| Entretien | 10 | La structure des répertoires est-elle complète ? Y a-t-il des phrases génériques vides ? |
Si l'un des cas suivants est détecté, le score est ignoré et le skill est classé « Ne pas installer » :
- L'auteur mentionne explicitement « pas encore implémenté ».
- Le skill promet une action pratique mais n'a aucun fichier de code.
- Il y a des fichiers de code, mais ils ne contiennent que
pass/TODO/ des fonctions vides.
Un seul cas génère un avertissement sans rejet automatique : le nom de l'outil mentionné dans la documentation diffère du nom actuel de l'hôte. En effet, les noms d'outils varient selon l'hôte — une même fonction de récupération peut s'appeler WebFetch ici et web_fetch ailleurs. Le considérer comme une erreur fatale entraînerait des faux positifs entre plateformes, donc il est simplement noté dans les raisons pour que vous vérifiiez.
Exemples testés
| Skill | Résultat | Justification |
|---|---|---|
multi-search-engine (2,04 millions de téléchargements) | Ne pas installer | Annonce 16 moteurs, zéro script — ce qui est dit ne correspond pas à ce qui est fait |
summarize (46 000 téléchargements) | Ne pas installer | 2 fichiers, 3,5 Ko au total ; l'auteur admet « généré automatiquement à partir de spécifications, détails d'implémentation à compléter » |
skill-vetter (140 000 téléchargements) | Vaut la peine | Documentation pure, mais contient un protocole de revue en 4 étapes + format de sortie + commandes exécutables directement |
self-improving-agent (86 000 téléchargements) | Vaut la peine | 5 fichiers de code réels, hook d'injection mémoire uniquement, aucune connexion externe |
Les deux premiers cumulent plus de 2 millions d'installations, mais sont vides. Le nombre de téléchargements n'a quasiment aucun lien avec la qualité.
Données réelles du marketplace testées en octobre 2026 (échantillon de 30 skills populaires avec ≥500 installations, 28 scannés avec succès) :
- 24 valent la peine, 1 à voir selon vos besoins, 3 ne doivent pas être installés (11 %)
- Ces 28 skills totalisent 552 000 installations, dont 105 000 pour les 3 jugés « Ne pas installer »
- Les justifications pour ces 3 skills sont identiques mot pour mot, provenant tous de la même vague de synchronisation miroir — une même série de modèles produits en masse
Limites
- Effectue uniquement une analyse statique, n'exécute aucun code scanné.
- Ne peut pas déterminer « si le code est correct », seulement « s'il existe ».
- Un skill avec une description très brève mais réellement utile peut être sous-estimé.
- Inversement, un skill avec une belle description mais difficile à utiliser peut être surévalué — cet outil vérifie la présence, pas la qualité.
Confidentialité
Le rapport généré supprime automatiquement les chemins absolus de la machine locale et les espaces de noms internes ; skillsDir n'affiche que les deux derniers segments. Le rapport peut être partagé en toute sécurité avec d'autres personnes.