KI-Evaluierung
Wissen aus "AI Engineering" von Chip Huyen (Kapitel 3-4). Praktische Methoden zur Bewertung von Foundation-Modellen und darauf aufbauenden KI-Systemen.
Schnellstart
- Prüfe
guidelines.md, um herauszufinden, welche Dateien für deine Aufgabe geladen werden sollen - Lade nur relevante Dateien (jedes Thema hat knowledge.md, rules.md, examples.md)
- Wende die Anleitung auf deine Arbeit an
Inhalt
Referenzen
| Kategorie | Zweck |
|---|---|
language-modeling-metrics | Entropie, Kreuzentropie, Perplexität, Bits-pro-Zeichen |
exact-evaluation | Funktionale Korrektheit, exakte Übereinstimmung, lexikalische/semantische Ähnlichkeit, Embeddings |
ai-as-judge | Wann KI-Richter eingesetzt werden, wie man sie promptet, Einschränkungen und Verzerrungen |
comparative-evaluation | Modelle mit paarweisen Vergleichen bewerten, Bradley-Terry, Skalierbarkeitsherausforderungen |
evaluation-criteria | Domänenfähigkeit, Generierung (faktisch, sicher), Befolgung von Anweisungen, Kosten/Latenz |
model-selection | Auswahl-Workflow, Open Source vs. API, Navigation durch öffentliche Benchmarks |
evaluation-pipeline | End-to-End-Pipeline-Design, Bewertungsrubriken, Evaluierungsmethoden |
Workflows
| Aufgabe | Workflow |
|---|---|
| Ein Modell auswählen (Build vs. Buy, OS vs. API) | workflows/select-model.md |
| Eine durchgängige Evaluierungspipeline entwerfen | workflows/design-eval-pipeline.md |
Richtlinien
Siehe guidelines.md für die aufgabenbasierte Dateiauswahl.