Communitygithub.com

SamuelChien/mega-skills-collection

Cette compétence doit être utilisée pour une évaluation avancée des LLM : systèmes LLM-en-tant-que-juge, notation directe, comparaison par paires, calibration de grilles d'évaluation, atténuation des biais des évaluateurs, notation de confiance et évaluation automatisée de la qualité.

Qu'est-ce que mega-skills-collection ?

Cette compétence fournit un ensemble complet de techniques de niveau production pour évaluer les sorties des grands modèles de langage (LLM) en utilisant les LLM eux-mêmes comme juges. Elle couvre deux approches principales : la notation directe, idéale pour des critères objectifs comme l'exactitude factuelle ou le respect des instructions, et la comparaison par paires, mieux adaptée aux préférences subjectives comme le ton ou la créativité. Une partie cruciale de la compétence est dédiée à l'atténuation systématique des biais courants, tels que les biais de position, de longueur et d'auto-amélioration, afin d'assurer des évaluations plus fiables. Elle est particulièrement utile pour les développeurs et ingénieurs qui construisent des systèmes d'évaluation automatisés, que ce soit pour les pipelines de CI/CD, les tests A/B de modèles ou le contrôle qualité des sorties de LLM, et elle est conçue pour être appliquée dans des environnements comme Claude Code, Cursor ou d'autres plateformes d'agents IA.

Compatible avec~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/SamuelChien/mega-skills-collection/tree/HEAD/advanced-evaluation

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Évaluation Avancée

Cette compétence couvre les techniques de niveau production pour évaluer les sorties des LLM en utilisant des LLM comme juges. Elle synthétise la recherche provenant d'articles académiques, de pratiques industrielles et d'expériences de mise en œuvre pratiques en modèles exploitables pour construire des systèmes d'évaluation fiables.

Aperçu clé : LLM-en-tant-que-juge n'est pas une technique unique mais une famille d'approches, chacune adaptée à différents contextes d'évaluation. Choisir la bonne approche et atténuer les biais connus est la compétence centrale que cette compétence développe.

Quand Activer

Activez cette compétence lorsque :

  • Vous construisez des systèmes LLM-en-tant-que-juge pour les sorties des LLM
  • Vous comparez plusieurs réponses de modèles pour sélectionner la meilleure
  • Vous établissez des normes de qualité cohérentes entre les équipes d'évaluation
  • Vous déboguez des systèmes d'évaluation qui montrent des résultats incohérents
  • Vous concevez des tests A/B pour des modifications de prompt ou de modèle
  • Vous créez des grilles d'évaluation spécifiquement pour des juges LLM ou hybrides humains/LLM
  • Vous analysez la corrélation entre les jugements automatisés et humains

N'activez pas cette compétence pour des travaux adjacents gérés par d'autres compétences :

  • Vérifications déterministes générales, suites de régression, barrières de qualité en production ou métriques de résultat : evaluation.
  • Gouvernance de boucle autonome, grilles d'évaluation verrouillées, rollback ou limites d'approbation PR : harness-engineering.
  • Contrats d'API d'outils pour les outils d'évaluation : tool-design.

Concepts Clés

La Taxonomie d'Évaluation

Choisissez entre deux approches principales en fonction de l'existence d'une vérité terrain :

Notation Directe — Utilisez-la lorsque des critères objectifs existent (exactitude factuelle, respect des instructions, toxicité). Un seul LLM note une réponse sur une échelle définie. Atteint une fiabilité modérée à élevée pour des critères bien définis. Surveillez la dérive de calibration des scores et l'interprétation incohérente de l'échelle.

Comparaison par Paires — Utilisez-la pour les préférences subjectives (ton, style, pouvoir de persuasion). Un LLM compare deux réponses et sélectionne la meilleure. Les méthodes par paires sont souvent mieux corrélées avec la préférence humaine que la notation directe ouverte pour les tâches subjectives. Surveillez le biais de position et le biais de longueur.

Le Paysage des Biais

Atténuez ces biais systématiques dans chaque système d'évaluation :

Biais de Position : Les réponses en première position reçoivent un traitement préférentiel. Atténuez en évaluant deux fois avec des positions inversées, puis appliquez un vote majoritaire ou une vérification de cohérence.

Biais de Longueur : Les réponses plus longues obtiennent des scores plus élevés indépendamment de la qualité. Atténuez en demandant explicitement d'ignorer la longueur et en appliquant une notation normalisée selon la longueur.

Biais d'Auto-Amélioration : Les modèles notent leurs propres sorties plus haut. Atténuez en utilisant des modèles différents pour la génération et l'évaluation.

Biais de Verbosité : Les détails excessifs obtiennent des scores plus élevés même lorsqu'ils sont inutiles. Atténuez avec des grilles d'évaluation spécifiques aux critères qui pénalisent les détails non pertinents.

Biais d'Autorité : Un ton confiant obtient un score plus élevé indépendamment de l'exactitude. Atténuez en exigeant la citation des preuves et en ajoutant une couche de vérification des faits.

Cadre de Sélection des Métriques

Faites correspondre les métriques à la structure de la tâche d'évaluation :

Type de TâcheMétriques PrimairesMétriques Secondaires
Classification binaire (réussite/échec)Rappel, Précision, F1Kappa de Cohen
Échelle ordinale (notation 1-5)Rho de Spearman, Tau de KendallKappa de Cohen (pondéré)
Préférence par pairesTaux d'accord, Cohérence de positionCalibration de la confiance
Multi-étiquettesMacro-F1, Micro-F1Précision/Rappel par étiquette

Priorisez les schémas de désaccord systématique plutôt que les taux d'accord absolus car un juge qui est systématiquement en désaccord avec les humains sur des critères spécifiques est plus problématique qu'un juge avec du bruit aléatoire.

Approches d'Évaluation

Implémentation de la Notation Directe

Construisez la notation directe avec trois composants : des critères clairs, une échelle calibrée et un format de sortie structuré.

Schéma de Définition des Critères :

Critère : [Nom]
Description : [Ce que ce critère mesure]
Poids : [Importance relative, 0-1]

Calibration de l'Échelle — Choisissez la granularité de l'échelle en fonction du niveau de détail de la grille d'évaluation :

  • 1-3 : Binaire avec option neutre, charge cognitive la plus faible
  • 1-5 : Likert standard, meilleur équilibre entre granularité et fiabilité
  • 1-10 : Utilisez uniquement avec des grilles d'évaluation détaillées par niveau car la calibration est plus difficile

Structure du Prompt pour la Notation Directe :

Vous êtes un évaluateur expert évaluant la qualité de la réponse.

## Tâche
Évaluez la réponse suivante par rapport à chaque critère.

## Prompt Original
{prompt}

## Réponse à Évaluer
{response}

## Critères
{pour chaque critère : nom, description, poids}

## Instructions
Pour chaque critère :
1. Trouvez des preuves spécifiques dans la réponse
2. Notez selon la grille d'évaluation (échelle 1-{max})
3. Justifiez votre note avec des preuves
4. Suggérez une amélioration spécifique

## Format de Sortie
Répondez avec un JSON structuré contenant les scores, les justifications et un résumé.

Exigez des preuves avant le score dans les prompts de notation afin que le juge doit ancrer sa décision dans des caractéristiques observables de la sortie avant d'émettre un nombre.

Implémentation de la Comparaison par Paires

Appliquez l'atténuation du biais de position dans chaque évaluation par paires :

  1. Effectuez d'abord des vérifications préliminaires déterministes : les deux candidats doivent satisfaire le même schéma, les mêmes exigences de preuve source et les mêmes contraintes de portée.
  2. Premier passage du juge : Réponse A en première position, Réponse B en deuxième.
  3. Deuxième passage du juge : Réponse B en première position, Réponse A en deuxième.
  4. Vérification de cohérence : Si les passages sont en désaccord, retournez ÉGALITÉ avec une confiance réduite.
  5. Verdict final : Gagnant cohérent avec une confiance moyenne et une justification explicite pour le départage.

Structure du Prompt pour la Comparaison par Paires :

Vous êtes un évaluateur expert comparant deux réponses d'IA.

## Instructions Critiques
- NE PRÉFÉREZ PAS les réponses parce qu'elles sont plus longues
- NE PRÉFÉREZ PAS les réponses en fonction de leur position (première vs deuxième)
- Concentrez-vous UNIQUEMENT sur la qualité selon les critères spécifiés
- Les égalités sont acceptables lorsque les réponses sont véritablement équivalentes

## Prompt Original
{prompt}

## Réponse A
{response_a}

## Réponse B
{response_b}

## Critères de Comparaison
{liste des critères}

## Instructions
1. Analysez chaque réponse indépendamment d'abord
2. Comparez-les sur chaque critère
3. Déterminez le gagnant global avec un niveau de confiance

## Format de Sortie
JSON avec comparaison par critère, gagnant global, confiance (0-1) et raisonnement.

Calibration de la Confiance — Faites correspondre la confiance à la cohérence de position :

  • Les deux passages sont d'accord : confiance = moyenne des confiances individuelles
  • Les passages sont en désaccord : confiance = 0.5, verdict = ÉGALITÉ

Génération de Grilles d'Évaluation

Générez des grilles d'évaluation pour réduire la variance d'évaluation par rapport à la notation ouverte. Traitez la réduction exacte de la variance comme spécifique à la charge de travail à moins qu'elle ne soit mesurée sur l'ensemble d'évaluation cible.

Incluez ces composants de grille d'évaluation :

  1. Descriptions des niveaux : Limites claires pour chaque niveau de score
  2. Caractéristiques : Caractéristiques observables qui définissent chaque niveau
  3. Exemples : Texte représentatif pour chaque niveau (optionnel mais précieux)
  4. Cas limites : Conseils pour les situations ambiguës
  5. Directives de notation : Principes généraux pour une application cohérente

Réglez la calibration de la sévérité en fonction du cas d'utilisation :

  • Indulgent : Barre de réussite plus basse, approprié pour encourager l'itération
  • Équilibré : Attentes de production typiques
  • Strict : Normes élevées pour les évaluations critiques pour la sécurité ou à enjeux élevés

Adaptez les grilles d'évaluation au domaine — utilisez une terminologie spécifique au domaine. Une grille d'évaluation de la lisibilité du code mentionne les variables, les fonctions et les commentaires. Une grille d'évaluation de l'exactitude médicale fait référence à la terminologie clinique et aux normes de preuve.

Conseils Pratiques

Conception du Pipeline d'Évaluation

Construisez des systèmes d'évaluation de production avec ces couches : Chargeur de Critères (grilles d'évaluation + poids) -> Scorer Principal (direct ou par paires) -> Atténuation des Biais (inversion de position, etc.) -> Notation de Confiance (calibration) -> Sortie (scores + justifications + confiance). Voir Diagramme du Pipeline d'Évaluation pour la disposition visuelle complète.

Cadre Décisionnel : Direct vs. Par Paires

Appliquez cet arbre de décision :

Existe-t-il une vérité terrain objective ?
+-- Oui -> Notation Directe
|   Exemples : exactitude factuelle, respect des instructions, conformité au format
|
+-- Non -> S'agit-il d'un jugement de préférence ou de qualité ?
    +-- Oui -> Comparaison par Paires
    |   Exemples : ton, style, pouvoir de persuasion, créativité
    |
    +-- Non -> Envisagez une évaluation basée sur une référence
        Exemples : résumé (comparer à la source), traduction (comparer à la référence)

Passage à l'Échelle de l'Évaluation

Pour une évaluation à volume élevé, appliquez l'une de ces stratégies :

  1. Panel de LLM (PoLL) : Utilisez plusieurs modèles comme juges et agrégez les votes pour réduire le biais individuel du modèle. Plus coûteux mais plus fiable pour les décisions à enjeux élevés.

  2. Évaluation hiérarchique : Utilisez un modèle rapide et peu coûteux pour le filtrage et un modèle coûteux pour les cas limites. Nécessite la calibration du seuil de filtrage.

  3. Humain dans la boucle : Automatisez les cas clairs et acheminez les décisions de faible confiance vers un examen humain. Concevez des boucles de rétroaction pour améliorer l'évaluation automatisée au fil du temps.

Exemples

Exemple 1 : Notation Directe pour l'Exactitude

Entrée :

Prompt : « Quelles sont les causes des saisons sur Terre ? »
Réponse : « Les saisons sont causées par l'axe incliné de la Terre. Lorsque la Terre orbite autour du Soleil,
les différents hémisphères reçoivent une lumière solaire plus directe à différents moments de l'année. »
Critère : Exactitude Factuelle (poids : 1.0)
Échelle : 1-5

Sortie :

{
  "critère": "Exactitude Factuelle",
  "score": 5,
  "preuves": [
    "Identifie correctement l'inclinaison axiale comme cause principale",
    "Explique correctement la lumière solaire différentielle par hémisphère",
    "Aucune erreur factuelle présente"
  ],
  "justification": "La réponse explique avec précision la cause des saisons avec un raisonnement
scientifique correct. L'inclinaison axiale et son effet sur la distribution de la lumière solaire
sont correctement décrits.",
  "amélioration": "Pourrait ajouter l'angle d'inclinaison spécifique (23,5 degrés) pour être complet."
}

Exemple 2 : Comparaison par Paires avec Inversion de Position

Entrée :

Prompt : « Explique l'apprentissage automatique à un débutant »
Réponse A : [Explication technique avec jargon]
Réponse B : [Explication simple basée sur des analogies]
Critères : ["clarté", "accessibilité"]

Premier Passage (A en premier) :

{ "gagnant": "B", "confiance": 0.8 }

Deuxième Passage (B en premier) :

{ "gagnant": "A", "confiance": 0.6 }

(Note : Le gagnant est A car B était en première position)

Deuxième Passage Mappé :

{ "gagnant": "B", "confiance": 0.6 }

Résultat Final :

{
  "gagnant": "B",
  "confiance": 0.7,
  "cohérenceDePosition": {
    "cohérent": true,
    "gagnantPremierPassage": "B",
    "gagnantDeuxièmePassage": "B"
  }
}

Exemple 3 : Génération de Grille d'Évaluation

Entrée :

nomCritère : "Lisibilité du Code"
descriptionCritère : "La facilité avec laquelle le code est compris et maintenable"
domaine : "génie logiciel"
échelle : "1-5"
sévérité : "équilibrée"

Sortie (abrégée) :

{
  "niveaux": [
    {
      "score": 1,
      "étiquette": "Mauvais",
      "description": "Le code est difficile à comprendre sans effort significatif",
      "caractéristiques": [
        "Pas de noms de variables ou de fonctions significatifs",
        "Pas de commentaires ou de documentation",
        "Logique profondément imbriquée ou alambiquée"
      ]
    },
    {
      "score": 3,
      "étiquette": "Adéquat",
      "description": "Le code est compréhensible avec un certain effort",
      "caractéristiques": [
        "La plupart des variables ont des noms significatifs",
        "Commentaires de base présents pour les sections complexes",
        "La logique est suivable mais pourrait être plus propre"
      ]
    },
    {
      "score": 5,
      "étiquette": "Excellent",
      "description": "Le code est immédiatement clair et maintenable",
      "caractéristiques": [
        "Tous les noms sont descriptifs et cohérents",
        "Documentation complète",
        "Structure propre et modulaire"
      ]
    }
  ],
  "casLimites": [
    {
      "situation": "Le code est bien structuré mais utilise des abréviations spécifiques au domaine",
      "directive": "Notez en fonction de la lisibilité pour les experts du domaine, pas pour le grand public"
    }
  ]
}

Directives

  1. Exigez toujours des preuves avant les scores - Les prompts qui donnent la priorité aux preuves rendent les jugements plus faciles à auditer et réduisent la notation numérique non fondée

  2. Inversez toujours les positions dans la comparaison par paires - La comparaison en un seul passage est corrompue par le biais de position

  3. Faites correspondre la granularité de l'échelle à la spécificité de la grille d'évaluation - N'utilisez pas 1-10 sans descriptions détaillées des niveaux

  4. Séparez les critères objectifs et subjectifs - Utilisez la notation directe pour l'objectif, la comparaison par paires pour le subjectif

  5. Incluez les scores de confiance - Calibrez-les en fonction de la cohérence de position et de la force des preuves

  6. Définissez les cas limites explicitement - Les situations ambiguës causent le plus de variance d'évaluation

  7. Utilisez des grilles d'évaluation spécifiques au domaine - Les grilles d'évaluation génériques produisent des évaluations génériques (moins utiles)

  8. Validez par rapport aux jugements humains - L'évaluation automatisée n'a de valeur que si elle est corrélée à l'évaluation humaine

  9. Surveillez les biais systématiques - Suivez les schémas de désaccord par critère, type de réponse, modèle

  10. Concevez pour l'itération - Les systèmes d'évaluation s'améliorent avec les boucles de rétroaction

Pièges

  1. Notation sans justification : Les scores manquent de fondement et sont difficiles à déboguer. Exigez toujours une justification basée sur des preuves avant le score.

  2. Comparaison par paires en un seul passage : Le biais de position corrompt les résultats lorsque les positions ne sont pas inversées. Évaluez toujours deux fois avec des positions inversées et vérifiez la cohérence.

  3. Critères surchargés : Les critères qui mesurent plusieurs choses à la fois produisent des scores peu fiables. Imposez un critère = un aspect mesurable.

  4. Absence de directives pour les cas limites : Les évaluateurs gèrent les cas ambigus de manière incohérente sans instructions explicites. Incluez les cas limites dans les grilles d'évaluation avec des règles de résolution claires.

Références

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

SamuelChien/mega-skills-collection

Security audit, hardening, threat modeling (STRIDE/PASTA), Red/Blue Team, OWASP checks, code review, incident response, and infrastructure security for any project.

SamuelChien/mega-skills-collection

Arquitecto de Soluciones Principal y Consultor Tecnológico de Andru.ia. Diagnostica y traza la hoja de ruta óptima para proyectos de IA en español.

SamuelChien/mega-skills-collection

Ingeniero de Sistemas de Andru.ia. Diseña, redacta y despliega nuevas habilidades (skills) dentro del repositorio siguiendo el Estándar de Diamante.

SamuelChien/mega-skills-collection

Estratega de Inteligencia de Dominio de Andru.ia. Analiza el nicho específico de un proyecto para inyectar conocimientos, regulaciones y estándares únicos del sector. Actívalo tras definir el nicho.

SamuelChien/mega-skills-collection

2D game development principles. Sprites, tilemaps, physics, camera.

SamuelChien/mega-skills-collection

3D game development principles. Rendering, shaders, physics, cameras.

SamuelChien/mega-skills-collection

Expert in building 3D experiences for the web - Three.js, React Three Fiber, Spline, WebGL, and interactive 3D scenes. Covers product configurators, 3D portfolios, immersive websites, and bringing depth to web experiences.

SamuelChien/mega-skills-collection

Accessibility audit skill for scanning, fixing, and verifying WCAG 2.2 Level A and AA compliance across React, Next.js, Vue, Angular, Svelte, and plain HTML codebases. Use when auditing accessibility, fixing a11y violations, checking color contrast, generating compliance reports, or integrating accessibility checks into CI/CD pipelines.

SamuelChien/mega-skills-collection

Ab Test Analyzer - Auto-activating skill for Data Analytics. Triggers on: ab test analyzer, ab test analyzer Part of the Data Analytics skill category.

SamuelChien/mega-skills-collection

A B Test Config Creator - Auto-activating skill for ML Deployment. Triggers on: a b test config creator, a b test config creator Part of the ML Deployment skill category.

SamuelChien/mega-skills-collection

When the user wants to plan, design, or implement an A/B test or experiment. Also use when the user mentions "A/B test," "split test," "experiment," "test this change," "variant copy," "multivariate test," "hypothesis," "conversion experiment," "statistical significance," or "test this." For tracking implementation, see analytics-tracking.

SamuelChien/mega-skills-collection

Acceptance Criteria Creator - Auto-activating skill for Enterprise Workflows. Triggers on: acceptance criteria creator, acceptance criteria creator Part of the Enterprise Workflows skill category.

SamuelChien/mega-skills-collection

Use when a coding task should be driven end-to-end from issue intake through implementation, review, deployment, and acceptance verification with minimal human re-intervention.

SamuelChien/mega-skills-collection

Accessibility Audit Runner - Auto-activating skill for Frontend Development. Triggers on: accessibility audit runner, accessibility audit runner Part of the Frontend Development skill category.

SamuelChien/mega-skills-collection

You are an accessibility expert specializing in WCAG compliance, inclusive design, and assistive technology compatibility. Conduct audits, identify barriers, and provide remediation guidance.

SamuelChien/mega-skills-collection

Web accessibility patterns for WCAG 2.2 compliance including ARIA, keyboard navigation, screen readers, and testing

SamuelChien/mega-skills-collection

Manage Discord channel access — approve pairings, edit allowlists, set DM/group policy. Use when the user asks to pair, approve someone, check who's allowed, or change policy for the Discord channel.

SamuelChien/mega-skills-collection

Create unified specification packages across Business, Development, and Design teams. Staged elaboration (L0 Vision → L1 Requirements → L2 Team Detail → L3 Acceptance Criteria) to build shared understanding. Does not write code.

SamuelChien/mega-skills-collection

Research a company or person and get actionable sales intel. Works standalone with web search, supercharged when you connect enrichment tools or your CRM. Trigger with "research [company]", "look up [person]", "intel on [prospect]", "who is [name] at [company]", or "tell me about [company]".

SamuelChien/mega-skills-collection

Validate messaging consistency across website, GitHub repos, and local documentation generating read-only discrepancy reports. Use when checking content alignment or finding mixed messaging. Trigger with phrases like "check consistency", "validate documentation", or "audit messaging".

Skills associés