loselen/test-me

Que fait test-me ?

Vérifie un résultat avec une tâche qui exige exactement la capacité que le résultat nomme, puis agis en fonction de ce que la réponse révèle.

Basé sur : l'évaluation formative (Black & Wiliam 1998), les questions charnières (Wiliam 2011), l'alignement constructif (Biggs 1996), la production plutôt que la reconnaissance (McDaniel et al. 2007), les tâches génératives (Fiorella & Mayer 2016), les grilles d'évaluation (Jonsson & Svingby 2007), le feedback élaboré (Shute 2008 ; Hattie & Timperley 2007), l'échafaudage contingent et les échelles d'indices (Wood et al. 1976 ; Aleven et al. 2016), l'analyse d'erreurs (Brown & Burton 1978), les critères de maîtrise (Kelly et al. 2015).

Base de données : exécute le script fourni depuis la racine du projet de l'apprenant (le dossier dans lequel la conversation a commencé) ; il conserve les données dans ./.learn/learn.db. ${CLAUDE_SKILL_DIR} est le dossier de cette compétence ; Claude Code le remplit automatiquement, et les autres agents doivent utiliser le chemin du dossier contenant ce SKILL.md.

1. Concevoir l'activité

Fais correspondre la tâche au verbe du résultat : s'il dit « expliquer », demande une explication ; « résoudre » ou « écrire », un problème inédit avec des détails de surface différents de la leçon ; « déboguer », un travail erroné à corriger.

Prévois 2 à 3 items, donnés un par message :

1. Item charnière : une question à choix multiples ou « prédisez ce qui se passe », où chaque mauvaise option correspond à une misconception spécifique. La bonne réponse doit être difficile à deviner.
2. Item de production : l'apprenant produit lui-même la réponse sur un nouveau problème (transfert proche).
3. (optionnel) Item génératif : explique pourquoi, trouve l'erreur, ou applique-le à une situation légèrement différente.

Ne réutilise jamais un item de la leçon ou d'une tentative précédente.

2. Évaluer chaque réponse

1. Demande « Quel est ton degré de certitude : 1 supposition, 2 assez sûr, 3 certain ? » juste après leur réponse.
2. Juge selon une grille d'évaluation à 2–4 critères tirée de la norme du résultat (par exemple, résultat correct, raisonnement valide, termes appropriés). Verdict : correct, partiel ou incorrect.
3. En cas d'erreur, classe l'erreur : étourderie, lacune (prérequis manquant), ou misconception (une règle erronée cohérente).

3. Donner du feedback

Sois bref, porte sur le travail et réponds à trois questions :

• Ce qui a fonctionné : un élément spécifique, en citant leur réponse.
• Ce qui cloche : le problème le plus important, au niveau de leur méthode, pas seulement la réponse finale.
• Prochaine étape : une action concrète.

S'ils étaient confiants et se trompent, dis-le clairement (« tu étais sûr, et voici pourquoi ça échoue ») ; ces corrections restent le mieux.

Sur une réponse erronée, donne un échelon d'indice par nouvelle tentative, sans jamais sauter directement à la solution :

1. Indice d'orientation : « regarde l'étape 2 à nouveau »
2. Invite de principe : « quelle règle s'applique quand ... ? »
3. Une étape partiellement résolue
4. Solution complète, puis un nouvel item parallèle qu'ils doivent résoudre sans aide

4. Enregistrer chaque tentative

Après avoir évalué chaque réponse, enregistre-la (une ligne par tentative d'item) :

python3 "${CLAUDE_SKILL_DIR}/scripts/db.py" attempt '{"outcome_id": 7, "activity": "<l'item>", "answer": "<réponse de l'apprenant>", "verdict": "correct", "feedback": "<court : type d'erreur, niveau d'indice utilisé, confiance, ce que tu lui as dit>"}'

Utilise un heredoc sur l'entrée standard si le texte contient des guillemets difficiles.

5. Décider

Le résultat est atteint lorsque toutes ces conditions sont remplies :

• les 3 derniers items à la suite étaient corrects
• au moins l'un d'entre eux était un item de production ou de transfert
• aucun d'eux n'a nécessité l'échelon d'indice 4
• l'apprenant a donné au moins une explication correcte avec un niveau de confiance 2 ou 3

Marque-le alors :

python3 "${CLAUDE_SKILL_DIR}/scripts/db.py" met '{"outcome_id": 7}'

Cela enregistre la date à laquelle le résultat a été atteint. Le résultat indique combien de résultats restent dans le nœud. Repasse la main à teach-me.

S'il n'est pas atteint, choisis une voie et repasse la main à teach-me :

• étourderie → un nouvel item supplémentaire
• misconception → ré-enseigne en rendant le conflit visible, puis une nouvelle activité
• lacune → enseigne ou ajoute le prérequis manquant (create-map)
• 3+ activités échouées sur le même résultat → le résultat est trop vaste ; divise l'étape et enseigne en plus petits morceaux

Pièges

• Questions de reconnaissance alors que le résultat demande une production.
• Options à choix multiples qui ne révèlent rien sur la façon dont l'apprenant pense.
• Déclarer la maîtrise après une seule réponse correcte.
• Réutiliser des items, de sorte que l'apprenant se souvienne au lieu de réfléchir.
• Donner la réponse à la première erreur.
• Lister toutes les erreurs à la fois. Corrige d'abord la plus importante.