Évaluation Avancée
Cette compétence couvre les techniques de niveau production pour évaluer les sorties des LLM en utilisant des LLM comme juges. Elle synthétise la recherche provenant d'articles académiques, de pratiques industrielles et d'expériences de mise en œuvre pratiques en modèles exploitables pour construire des systèmes d'évaluation fiables.
Aperçu clé : LLM-en-tant-que-juge n'est pas une technique unique mais une famille d'approches, chacune adaptée à différents contextes d'évaluation. Choisir la bonne approche et atténuer les biais connus est la compétence centrale que cette compétence développe.
Quand Activer
Activez cette compétence lorsque :
- Vous construisez des systèmes LLM-en-tant-que-juge pour les sorties des LLM
- Vous comparez plusieurs réponses de modèles pour sélectionner la meilleure
- Vous établissez des normes de qualité cohérentes entre les équipes d'évaluation
- Vous déboguez des systèmes d'évaluation qui montrent des résultats incohérents
- Vous concevez des tests A/B pour des modifications de prompt ou de modèle
- Vous créez des grilles d'évaluation spécifiquement pour des juges LLM ou hybrides humains/LLM
- Vous analysez la corrélation entre les jugements automatisés et humains
N'activez pas cette compétence pour des travaux adjacents gérés par d'autres compétences :
- Vérifications déterministes générales, suites de régression, barrières de qualité en production ou métriques de résultat :
evaluation. - Gouvernance de boucle autonome, grilles d'évaluation verrouillées, rollback ou limites d'approbation PR :
harness-engineering. - Contrats d'API d'outils pour les outils d'évaluation :
tool-design.
Concepts Clés
La Taxonomie d'Évaluation
Choisissez entre deux approches principales en fonction de l'existence d'une vérité terrain :
Notation Directe — Utilisez-la lorsque des critères objectifs existent (exactitude factuelle, respect des instructions, toxicité). Un seul LLM note une réponse sur une échelle définie. Atteint une fiabilité modérée à élevée pour des critères bien définis. Surveillez la dérive de calibration des scores et l'interprétation incohérente de l'échelle.
Comparaison par Paires — Utilisez-la pour les préférences subjectives (ton, style, pouvoir de persuasion). Un LLM compare deux réponses et sélectionne la meilleure. Les méthodes par paires sont souvent mieux corrélées avec la préférence humaine que la notation directe ouverte pour les tâches subjectives. Surveillez le biais de position et le biais de longueur.
Le Paysage des Biais
Atténuez ces biais systématiques dans chaque système d'évaluation :
Biais de Position : Les réponses en première position reçoivent un traitement préférentiel. Atténuez en évaluant deux fois avec des positions inversées, puis appliquez un vote majoritaire ou une vérification de cohérence.
Biais de Longueur : Les réponses plus longues obtiennent des scores plus élevés indépendamment de la qualité. Atténuez en demandant explicitement d'ignorer la longueur et en appliquant une notation normalisée selon la longueur.
Biais d'Auto-Amélioration : Les modèles notent leurs propres sorties plus haut. Atténuez en utilisant des modèles différents pour la génération et l'évaluation.
Biais de Verbosité : Les détails excessifs obtiennent des scores plus élevés même lorsqu'ils sont inutiles. Atténuez avec des grilles d'évaluation spécifiques aux critères qui pénalisent les détails non pertinents.
Biais d'Autorité : Un ton confiant obtient un score plus élevé indépendamment de l'exactitude. Atténuez en exigeant la citation des preuves et en ajoutant une couche de vérification des faits.
Cadre de Sélection des Métriques
Faites correspondre les métriques à la structure de la tâche d'évaluation :
| Type de Tâche | Métriques Primaires | Métriques Secondaires |
|---|---|---|
| Classification binaire (réussite/échec) | Rappel, Précision, F1 | Kappa de Cohen |
| Échelle ordinale (notation 1-5) | Rho de Spearman, Tau de Kendall | Kappa de Cohen (pondéré) |
| Préférence par paires | Taux d'accord, Cohérence de position | Calibration de la confiance |
| Multi-étiquettes | Macro-F1, Micro-F1 | Précision/Rappel par étiquette |
Priorisez les schémas de désaccord systématique plutôt que les taux d'accord absolus car un juge qui est systématiquement en désaccord avec les humains sur des critères spécifiques est plus problématique qu'un juge avec du bruit aléatoire.
Approches d'Évaluation
Implémentation de la Notation Directe
Construisez la notation directe avec trois composants : des critères clairs, une échelle calibrée et un format de sortie structuré.
Schéma de Définition des Critères :
Critère : [Nom]
Description : [Ce que ce critère mesure]
Poids : [Importance relative, 0-1]
Calibration de l'Échelle — Choisissez la granularité de l'échelle en fonction du niveau de détail de la grille d'évaluation :
- 1-3 : Binaire avec option neutre, charge cognitive la plus faible
- 1-5 : Likert standard, meilleur équilibre entre granularité et fiabilité
- 1-10 : Utilisez uniquement avec des grilles d'évaluation détaillées par niveau car la calibration est plus difficile
Structure du Prompt pour la Notation Directe :
Vous êtes un évaluateur expert évaluant la qualité de la réponse.
## Tâche
Évaluez la réponse suivante par rapport à chaque critère.
## Prompt Original
{prompt}
## Réponse à Évaluer
{response}
## Critères
{pour chaque critère : nom, description, poids}
## Instructions
Pour chaque critère :
1. Trouvez des preuves spécifiques dans la réponse
2. Notez selon la grille d'évaluation (échelle 1-{max})
3. Justifiez votre note avec des preuves
4. Suggérez une amélioration spécifique
## Format de Sortie
Répondez avec un JSON structuré contenant les scores, les justifications et un résumé.
Exigez des preuves avant le score dans les prompts de notation afin que le juge doit ancrer sa décision dans des caractéristiques observables de la sortie avant d'émettre un nombre.
Implémentation de la Comparaison par Paires
Appliquez l'atténuation du biais de position dans chaque évaluation par paires :
- Effectuez d'abord des vérifications préliminaires déterministes : les deux candidats doivent satisfaire le même schéma, les mêmes exigences de preuve source et les mêmes contraintes de portée.
- Premier passage du juge : Réponse A en première position, Réponse B en deuxième.
- Deuxième passage du juge : Réponse B en première position, Réponse A en deuxième.
- Vérification de cohérence : Si les passages sont en désaccord, retournez ÉGALITÉ avec une confiance réduite.
- Verdict final : Gagnant cohérent avec une confiance moyenne et une justification explicite pour le départage.
Structure du Prompt pour la Comparaison par Paires :
Vous êtes un évaluateur expert comparant deux réponses d'IA.
## Instructions Critiques
- NE PRÉFÉREZ PAS les réponses parce qu'elles sont plus longues
- NE PRÉFÉREZ PAS les réponses en fonction de leur position (première vs deuxième)
- Concentrez-vous UNIQUEMENT sur la qualité selon les critères spécifiés
- Les égalités sont acceptables lorsque les réponses sont véritablement équivalentes
## Prompt Original
{prompt}
## Réponse A
{response_a}
## Réponse B
{response_b}
## Critères de Comparaison
{liste des critères}
## Instructions
1. Analysez chaque réponse indépendamment d'abord
2. Comparez-les sur chaque critère
3. Déterminez le gagnant global avec un niveau de confiance
## Format de Sortie
JSON avec comparaison par critère, gagnant global, confiance (0-1) et raisonnement.
Calibration de la Confiance — Faites correspondre la confiance à la cohérence de position :
- Les deux passages sont d'accord : confiance = moyenne des confiances individuelles
- Les passages sont en désaccord : confiance = 0.5, verdict = ÉGALITÉ
Génération de Grilles d'Évaluation
Générez des grilles d'évaluation pour réduire la variance d'évaluation par rapport à la notation ouverte. Traitez la réduction exacte de la variance comme spécifique à la charge de travail à moins qu'elle ne soit mesurée sur l'ensemble d'évaluation cible.
Incluez ces composants de grille d'évaluation :
- Descriptions des niveaux : Limites claires pour chaque niveau de score
- Caractéristiques : Caractéristiques observables qui définissent chaque niveau
- Exemples : Texte représentatif pour chaque niveau (optionnel mais précieux)
- Cas limites : Conseils pour les situations ambiguës
- Directives de notation : Principes généraux pour une application cohérente
Réglez la calibration de la sévérité en fonction du cas d'utilisation :
- Indulgent : Barre de réussite plus basse, approprié pour encourager l'itération
- Équilibré : Attentes de production typiques
- Strict : Normes élevées pour les évaluations critiques pour la sécurité ou à enjeux élevés
Adaptez les grilles d'évaluation au domaine — utilisez une terminologie spécifique au domaine. Une grille d'évaluation de la lisibilité du code mentionne les variables, les fonctions et les commentaires. Une grille d'évaluation de l'exactitude médicale fait référence à la terminologie clinique et aux normes de preuve.
Conseils Pratiques
Conception du Pipeline d'Évaluation
Construisez des systèmes d'évaluation de production avec ces couches : Chargeur de Critères (grilles d'évaluation + poids) -> Scorer Principal (direct ou par paires) -> Atténuation des Biais (inversion de position, etc.) -> Notation de Confiance (calibration) -> Sortie (scores + justifications + confiance). Voir Diagramme du Pipeline d'Évaluation pour la disposition visuelle complète.
Cadre Décisionnel : Direct vs. Par Paires
Appliquez cet arbre de décision :
Existe-t-il une vérité terrain objective ?
+-- Oui -> Notation Directe
| Exemples : exactitude factuelle, respect des instructions, conformité au format
|
+-- Non -> S'agit-il d'un jugement de préférence ou de qualité ?
+-- Oui -> Comparaison par Paires
| Exemples : ton, style, pouvoir de persuasion, créativité
|
+-- Non -> Envisagez une évaluation basée sur une référence
Exemples : résumé (comparer à la source), traduction (comparer à la référence)
Passage à l'Échelle de l'Évaluation
Pour une évaluation à volume élevé, appliquez l'une de ces stratégies :
-
Panel de LLM (PoLL) : Utilisez plusieurs modèles comme juges et agrégez les votes pour réduire le biais individuel du modèle. Plus coûteux mais plus fiable pour les décisions à enjeux élevés.
-
Évaluation hiérarchique : Utilisez un modèle rapide et peu coûteux pour le filtrage et un modèle coûteux pour les cas limites. Nécessite la calibration du seuil de filtrage.
-
Humain dans la boucle : Automatisez les cas clairs et acheminez les décisions de faible confiance vers un examen humain. Concevez des boucles de rétroaction pour améliorer l'évaluation automatisée au fil du temps.
Exemples
Exemple 1 : Notation Directe pour l'Exactitude
Entrée :
Prompt : « Quelles sont les causes des saisons sur Terre ? »
Réponse : « Les saisons sont causées par l'axe incliné de la Terre. Lorsque la Terre orbite autour du Soleil,
les différents hémisphères reçoivent une lumière solaire plus directe à différents moments de l'année. »
Critère : Exactitude Factuelle (poids : 1.0)
Échelle : 1-5
Sortie :
{
"critère": "Exactitude Factuelle",
"score": 5,
"preuves": [
"Identifie correctement l'inclinaison axiale comme cause principale",
"Explique correctement la lumière solaire différentielle par hémisphère",
"Aucune erreur factuelle présente"
],
"justification": "La réponse explique avec précision la cause des saisons avec un raisonnement
scientifique correct. L'inclinaison axiale et son effet sur la distribution de la lumière solaire
sont correctement décrits.",
"amélioration": "Pourrait ajouter l'angle d'inclinaison spécifique (23,5 degrés) pour être complet."
}
Exemple 2 : Comparaison par Paires avec Inversion de Position
Entrée :
Prompt : « Explique l'apprentissage automatique à un débutant »
Réponse A : [Explication technique avec jargon]
Réponse B : [Explication simple basée sur des analogies]
Critères : ["clarté", "accessibilité"]
Premier Passage (A en premier) :
{ "gagnant": "B", "confiance": 0.8 }
Deuxième Passage (B en premier) :
{ "gagnant": "A", "confiance": 0.6 }
(Note : Le gagnant est A car B était en première position)
Deuxième Passage Mappé :
{ "gagnant": "B", "confiance": 0.6 }
Résultat Final :
{
"gagnant": "B",
"confiance": 0.7,
"cohérenceDePosition": {
"cohérent": true,
"gagnantPremierPassage": "B",
"gagnantDeuxièmePassage": "B"
}
}
Exemple 3 : Génération de Grille d'Évaluation
Entrée :
nomCritère : "Lisibilité du Code"
descriptionCritère : "La facilité avec laquelle le code est compris et maintenable"
domaine : "génie logiciel"
échelle : "1-5"
sévérité : "équilibrée"
Sortie (abrégée) :
{
"niveaux": [
{
"score": 1,
"étiquette": "Mauvais",
"description": "Le code est difficile à comprendre sans effort significatif",
"caractéristiques": [
"Pas de noms de variables ou de fonctions significatifs",
"Pas de commentaires ou de documentation",
"Logique profondément imbriquée ou alambiquée"
]
},
{
"score": 3,
"étiquette": "Adéquat",
"description": "Le code est compréhensible avec un certain effort",
"caractéristiques": [
"La plupart des variables ont des noms significatifs",
"Commentaires de base présents pour les sections complexes",
"La logique est suivable mais pourrait être plus propre"
]
},
{
"score": 5,
"étiquette": "Excellent",
"description": "Le code est immédiatement clair et maintenable",
"caractéristiques": [
"Tous les noms sont descriptifs et cohérents",
"Documentation complète",
"Structure propre et modulaire"
]
}
],
"casLimites": [
{
"situation": "Le code est bien structuré mais utilise des abréviations spécifiques au domaine",
"directive": "Notez en fonction de la lisibilité pour les experts du domaine, pas pour le grand public"
}
]
}
Directives
-
Exigez toujours des preuves avant les scores - Les prompts qui donnent la priorité aux preuves rendent les jugements plus faciles à auditer et réduisent la notation numérique non fondée
-
Inversez toujours les positions dans la comparaison par paires - La comparaison en un seul passage est corrompue par le biais de position
-
Faites correspondre la granularité de l'échelle à la spécificité de la grille d'évaluation - N'utilisez pas 1-10 sans descriptions détaillées des niveaux
-
Séparez les critères objectifs et subjectifs - Utilisez la notation directe pour l'objectif, la comparaison par paires pour le subjectif
-
Incluez les scores de confiance - Calibrez-les en fonction de la cohérence de position et de la force des preuves
-
Définissez les cas limites explicitement - Les situations ambiguës causent le plus de variance d'évaluation
-
Utilisez des grilles d'évaluation spécifiques au domaine - Les grilles d'évaluation génériques produisent des évaluations génériques (moins utiles)
-
Validez par rapport aux jugements humains - L'évaluation automatisée n'a de valeur que si elle est corrélée à l'évaluation humaine
-
Surveillez les biais systématiques - Suivez les schémas de désaccord par critère, type de réponse, modèle
-
Concevez pour l'itération - Les systèmes d'évaluation s'améliorent avec les boucles de rétroaction
Pièges
-
Notation sans justification : Les scores manquent de fondement et sont difficiles à déboguer. Exigez toujours une justification basée sur des preuves avant le score.
-
Comparaison par paires en un seul passage : Le biais de position corrompt les résultats lorsque les positions ne sont pas inversées. Évaluez toujours deux fois avec des positions inversées et vérifiez la cohérence.
-
Critères surchargés : Les critères qui mesurent plusieurs choses à la fois produisent des scores peu fiables. Imposez un critère = un aspect mesurable.
-
Absence de directives pour les cas limites : Les évaluateurs gèrent les cas ambigus de manière incohérente sans instructions explicites. Incluez les cas limites dans les grilles d'évaluation avec des règles de résolution claires.