Zhr65/SkillFresh — Audit de compétences

Tableau de dépréciation des compétences (skill-auditor)

Lors d'un changement de modèle, les skills / plugins installés ne génèrent pas d'erreur mais se dégradent silencieusement. Ce skill transforme cette « dégradation » en chiffres mesurables.

Trois jugements, leurs preuves respectives

Question de l'utilisateur	Comment juger	Condition clé
Les capacités ont-elles régressé ?	Rejouer le même golden set sur le nouveau modèle ; baisse de réussite ≥20pp et direction cohérente	L'empreinte n'a pas changé. Si l'empreinte a changé, c'est une modification, pas une régression
Le nouveau skill/plugin est-il bon ?	Ablation (avec/sans) + taux d'adoption pour calculer le gain net	Pas de comparaison, seulement une « bonne impression »
Correspond-il à moi ?	Précision de déclenchement (déclenché quand il faut, pas déclenché quand il ne faut pas) + vérification d'environnement + référentiel de style	Utiliser des vrais historiques de prompts, pas des prompts imaginés

Comment utiliser

Lorsque le plugin a enregistré des outils, utilisez directement ceux-ci (c'est la méthode recommandée) :

• skill_audit_status — Tableau de dépréciation : empreinte / taux de réussite de la baseline / risque / jugement
• skill_audit_recommend — Cinq niveaux : strong / watch / unverified / degraded / prune-candidate
• skill_audit_check — Vérifie si le modèle actuel a changé par rapport à la dernière baseline de régression
• skill_audit_scan — Redécouvre les assets après avoir installé quelque chose de nouveau
• skill_audit_suggest — Que suggérer quand les besoins de l'utilisateur ne sont couverts par aucun asset

Sans interface d'outils (par exemple un hôte qui n'a que des skills), utilisez la CLI :

python <data-dir>/scripts/console.py --host deepseek status
python <data-dir>/scripts/console.py --host deepseek recommend
python <data-dir>/scripts/console.py --host workbuddy status --root ~/.workbuddy-ai/skills

<data-dir> par défaut ~/.dsh/skill-auditor (remplaçable par la variable d'environnement SKILL_AUDITOR_HOME). Le moteur est du Python pur (bibliothèque standard 3.8+) sans dépendances tierces.

Quand l'utilisateur n'a pas de skill/plugin disponible

Il s'agit d'un mécanisme proactif de ce skill : n'attendez pas que l'utilisateur demande :

1. Consultez d'abord le registre des skills installés — si une couverture existe, ne suggérez pas d'en ajouter (évitez les doublons) ;
2. Si ce n'est vraiment pas couvert → skill_audit_suggest --need "<besoin en une phrase>" ;
3. Affichez « suggestion d'ajout + mots de recherche », l'installation est confirmée par l'utilisateur, ne l'installez pas automatiquement.

Limites strictes (à dire telles quelles, sans enjoliver en conclusion)

• Une baseline avec K=1 est une auto-évaluation, pas une conclusion statistique. Pour conclure à une « régression », il faut K≥3.
• Le golden set peut contenir des échantillons synthétiques (lorsque l'historique de l'utilisateur est insuffisant). Les échantillons synthétiques permettent de vérifier « la structure est-elle correcte ? », mais pas « est-ce que cela vous ressemble ? ». Ces échantillons sont marqués "synthetic": true dans le fichier.
• Le risk est un proxy matériel basé sur le nombre de lignes et les dépendances d'outils, il ne représente pas la valeur. Un risque élevé ne signifie pas qu'il faut supprimer.
• La désinstallation et l'installation nécessitent une confirmation ; la désinstallation privilégie « désactiver / archiver », pas la suppression silencieuse.
• Les causes de dégradation sont limitées à quatre catégories, ne les élargissez pas : erreur d'appel d'outil → réparer la description de l'outil ; sortie structure correcte mais contenu erroné → réécrire les instructions ; ne se déclenche pas quand il le faut → modifier la description de déclenchement ; tout est correct jusqu'à l'étape finale, mais l'état final est erroné → alors seulement cela peut être une régression de capacité du modèle.

Actions après jugement

Jugement	Action
strong	Conserver, peut être mis en avant
watch	Conserver, prioriser le rejeu lors du prochain changement de modèle
unverified	D'abord construire un golden set (3–5 vrais prompts), puis juger ; ne pas retirer temporairement
degraded	D'abord identifier la cause, puis décider de réécrire ou de désactiver ; ne pas supprimer directement
prune-candidate	Pas de baseline + coût de maintenance très élevé → suggérer une évaluation, ne pas supprimer automatiquement