Évaluation IA
Connaissances issues de "AI Engineering" par Chip Huyen (Chapitres 3-4). Méthodes pratiques pour évaluer les modèles de fondation et les systèmes IA construits sur ceux-ci.
Démarrage rapide
- Consultez
guidelines.mdpour savoir quels fichiers charger pour votre tâche - Chargez uniquement les fichiers pertinents (chaque sujet dispose de knowledge.md, rules.md, examples.md)
- Appliquez les directives à votre travail
Contenu
Références
| Catégorie | Objectif |
|---|---|
language-modeling-metrics | Entropie, entropie croisée, perplexité, bits par caractère |
exact-evaluation | Exactitude fonctionnelle, correspondance exacte, similarité lexicale/sémantique, plongements |
ai-as-judge | Quand utiliser des juges IA, comment les inciter, limites et biais |
comparative-evaluation | Classement de modèles avec comparaisons par paires, Bradley-Terry, défis de passage à l'échelle |
evaluation-criteria | Capacité du domaine, génération (factuelle, sécurité), suivi d'instructions, coût/latence |
model-selection | Processus de sélection, open source vs API, navigation dans les benchmarks publics |
evaluation-pipeline | Conception de pipeline de bout en bout, grilles d'évaluation, méthodes d'évaluation |
Workflows
| Tâche | Workflow |
|---|---|
| Choisir un modèle (construire vs acheter, OS vs API) | workflows/select-model.md |
| Concevoir un pipeline d'évaluation de bout en bout | workflows/design-eval-pipeline.md |
Directives
Voir guidelines.md pour la sélection de fichiers basée sur les tâches.