AjaneeI/agent-skills

Auditez si un évaluateur de benchmark mesure le comportement prévu plutôt que des étiquettes superficielles ou des réponses divulguées. À utiliser avant de figer les évaluations, d'accepter les comparaisons de modèles ou d'interpréter les affirmations de réussite des tâches.

Qu'est-ce que agent-skills ?

Cette compétence permet d'auditer la validité des évaluateurs, qu'ils soient déterministes ou assistés par modèle. Elle détecte les défauts de notation qui peuvent faire passer des réponses incorrectes pour correctes ou rejeter des solutions légitimes. L'audit teste des contrôles positifs, négatifs et des alternatives valides, puis classe les défauts en faux positifs, faux négatifs, ambiguïtés contractuelles ou alternatives valides non supportées. Elle est utile pour figer des évaluations, accepter des comparaisons de modèles ou interpréter des affirmations de réussite de tâches. Supportée par des outils comme Claude Code, Cursor, Codex, elle s'applique aux benchmarks de code, de raisonnement, ou d'agents outillés.

Compatible avec~Claude Code~Codex CLI~Cursor

npx skills add https://github.com/AjaneeI/agent-skills/tree/HEAD/skills/evaluator-validity-audit

Documentation

Audit de validité de l'évaluateur

Portée

À utiliser sur des évaluateurs déterministes ou assistés par modèle où des défauts de notation peuvent faire passer des réponses incorrectes pour correctes ou des alternatives légitimes échouer.

Procédure

Nommez le construit mesuré : exactitude de la réponse, ancrage des preuves, action outillée requise, limite d'autorité, périmètre de population, etc. Séparez ces dimensions.
Mappez chaque tâche à des solutions de référence, hypothèses d'entrée, logique de l'évaluateur, comportements alternatifs acceptés et codes d'échec explicites.
Testez des contrôles positifs (corrects), des contrôles négatifs (valeurs erronées, preuves manquantes, résultats d'outils falsifiés, actions non autorisées) et des alternatives valides (SQL équivalent, chemins de preuve ou dispositions de raisonnement).
Vérifiez que les champs d'observation sont dérivés de preuves d'exécution réelles, et non d'étiquettes rédigées par le modèle ou de métadonnées de résultats non fiables.
Exécutez les contrôles sans exposer les instances retenues à l'agent de développement. Conservez les contre-exemples et leurs preuves originales.
Classez les défauts comme fausse acceptation, faux rejet, contrat de tâche ambigu ou alternative valide non supportée. Distinguez les défauts du scoreur des échecs du modèle ou d'exécution.
Proposez des modifications versionnées avec les écarts comportementaux attendus ; ne réglez pas l'évaluateur en silence après avoir vu des résultats confirmatoires.
Figez uniquement lorsque le portail de validité déclaré est passé, ou signalez explicitement les limitations restantes et retenez les affirmations.

Résultat

Une matrice de cas audités montrant les cas de référence, adversariaux et alternatifs, les codes de raison attendus vs observés et les défauts non résolus.

Conditions d'arrêt

Mettez en pause l'interprétation confirmatoire pour les défauts non résolus qui altèrent matériellement le succès mesuré. Les tests réussis seuls n'établissent pas la validité si des contre-exemples importants sont manquants.