xiaopixuan/skill-design-review

Révision de Conception de Skill

Objectif

Utiliser une boucle d'évaluation pour déterminer si un skill cible mérite toujours d'exister, s'il améliore réellement l'exécution des tâches, et quel changement minimal doit être apporté.

Privilégier les tests concrets aux critiques abstraites. Le résultat attendu est une décision de classification, une fiche d'évaluation remplie, et une action ciblée : garder, simplifier, fusionner, réécrire, supprimer ou corriger le skill en fonction des preuves et des permissions d'édition de l'utilisateur.

Entrées

Rassembler ou déduire ces entrées avant de noter :

• Chemin du skill cible ou nom du skill.
• Deux cas de test réalistes avec des styles d'utilisateur différents. Chaque cas de test doit inclure la requête de l'utilisateur ainsi que tout artefact, fichier ou contexte nécessaire à son exécution.
• Forme de sortie attendue pour chaque cas de test.
• Chevauchement candidat : tout skill voisin, capacité intégrée, outil, script, modèle ou instruction de niveau supérieur qui pourrait rendre le skill cible inutile.

Si l'utilisateur n'a pas fourni de cas de test, rédiger deux cas réalistes à partir de l'objectif du skill et préciser qu'ils sont déduits.

Boucle d'Évaluation

1. Inspecter le skill cible. Lire son SKILL.md en entier. Lire les fichiers référencés uniquement lorsque cela est nécessaire pour comprendre le flux de travail testé.

2. Évaluer la nécessité avant d'améliorer. Décider si le skill fournit une valeur durable au-delà d'un agent général puissant. Un skill mérite d'être conservé lorsqu'il fournit au moins l'un des éléments suivants :

   • Connaissances non évidentes d'un domaine qu'un agent général manquerait souvent.
   • Un flux de travail reproductible qui évite les échecs courants.
   • Connaissances sur des outils, scripts, ressources, modèles ou routage de fichiers.
   • Normes de sortie qui doivent rester stables entre les exécutions.
   • Jugement, terminologie ou mémoire de processus propres à une organisation.
   • Preuve que l'utilisation du skill améliore la qualité par rapport à une référence sans celui-ci.

   Un skill doit être simplifié, fusionné, réécrit ou supprimé lorsque :

   • Il ne fait que reformuler des schémas de raisonnement généraux.
   • Un agent de base obtient déjà des performances équivalentes sans lui.
   • Il ajoute de longues instructions mais aucun gain de qualité mesurable.
   • Il entre en conflit avec des instructions système/développeur de niveau supérieur.
   • Il préserve principalement un comportement d'outil obsolète ou des flux de travail périmés.
   • Il chevauche fortement un autre skill plus puissant.

3. Préparer les tests. Utiliser deux cas de test qui diffèrent par le ton, la spécificité ou le type d'artefact. Inclure au moins une requête ordinaire et une requête limite ou ambiguë.

4. Effectuer une comparaison de référence. Pour chaque cas de test, comparer la manière dont la tâche serait traitée sans le skill cible par rapport au skill cible. Si une référence propre est impossible parce que le skill a déjà été lu, marquer la référence comme "meilleur effort / contaminée" plutôt que de faire comme si elle était indépendante. Lorsque des sous-agents indépendants ou des tâches fraîches sont disponibles et peuvent être utilisés en toute sécurité, exécuter le passage avec le skill séparément du passage de référence. Ne passer que le skill cible, la requête de l'utilisateur et les artefacts bruts ; ne pas passer le diagnostic attendu ou le correctif planifié.

5. Noter avec la grille d'évaluation. Lire references/rubric.md avant d'attribuer les notes. Noter la nécessité du skill, le comportement de déclenchement, les conseils de flux de travail, le format de sortie et la qualité du contenu. Ajouter une brève preuve pour chaque note non parfaite.

6. Choisir une classification. Sélectionner exactement une classification :

   • Garder : le skill améliore clairement les résultats et n'est pas trop coûteux.
   • Garder mais simplifier : le skill est utile mais comporte des instructions superflues, des exemples faibles ou des détails obsolètes.
   • Fusionner : le skill est utile mais devrait être intégré dans un autre skill plus puissant.
   • Réécrire : le skill a une intention précieuse mais sa structure n'est pas claire ou est trompeuse.
   • Supprimer : le skill n'apporte aucune valeur mesurable par rapport à la référence ou est obsolète.
   • Corriger : le skill mérite d'être conservé et présente un seul écart étroit et à fort impact.

7. Réviser et réexécuter. Si la classification est Corriger, Garder mais simplifier, Fusionner, Réécrire ou Supprimer, effectuer le plus petit changement de fichier justifié par les preuves et autorisé par l'utilisateur. Pour Fusionner ou Supprimer, ne pas supprimer de contenu sauf si l'utilisateur a explicitement demandé un nettoyage destructeur ; sinon, recommander l'action exacte de fusion/suppression. Corriger le skill cible uniquement là où les preuves montrent une lacune, puis réexécuter le test concerné ou la vérification de la grille d'évaluation. Enregistrer si le score a changé et pourquoi. Si l'utilisateur interdit les modifications ou demande une révision uniquement, ne pas corriger les fichiers. Décrire plutôt la plus petite correction recommandée et réévaluer le critère affecté comme une projection simulée, en marquant clairement le fichier réel comme inchangé.

Format de Sortie

Retourner le résultat dans cet ordre :

1. Verdict Indiquer si le skill réussit, réussit conditionnellement ou échoue, et donner la classification : Garder, Garder mais simplifier, Fusionner, Réécrire, Supprimer ou Corriger.

2. Évaluation de la Nécessité Indiquer la valeur durable que le skill apporte, les chevauchements avec les capacités de l'agent de base ou les skills voisins, et pourquoi le skill devrait ou ne devrait pas continuer à occuper du contexte.

3. Cas de Test Lister les deux cas de test et les formes de sortie attendues.

4. Fiche d'Évaluation Fournir un tableau avec critère, score, preuve et correctif.

5. Comparaison Résumer la différence entre l'utilisation du skill et son absence.

6. Action Ciblée Décrire le changement exact effectué ou recommander la plus petite action de maintien/simplification/fusion/réécriture/suppression/correction si l'utilisateur a demandé une révision uniquement.

7. Résultat de la Réexécution Indiquer ce qui a changé après la révision, y compris tout risque restant.

Règles de Jugement

• Réussite lorsque tous les critères requis obtiennent 2 et que le score total est d'au moins 9 sur 10.
• Réussite conditionnelle lorsque le score total est compris entre 6 et 8 ou qu'un critère requis obtient 1.
• Échec lorsque tout critère requis obtient 0 ou que le score total est inférieur à 6.
• Les critères requis sont : nécessité du skill, comportement de déclenchement, format de sortie et qualité du contenu.
• Ne pas optimiser uniquement pour l'esthétique. Privilégier les changements qui permettent au prochain agent de savoir quoi faire, quand le faire et quoi produire.
• Garder les révisions étroites, mesurables et liées à un échec de test.
• Privilégier les recommandations de suppression ou de fusion plutôt que le polissage lorsque le skill ne produit plus d'amélioration mesurable par rapport à un agent de base.