Bewertung der KI-Skill-Leistung mit Eval-Driven Iteration
Nutze dieses Skill, um die Effektivität deiner KI-Skills systematisch zu bewerten und zu verbessern. Es automatisiert den gesamten Eval-Prozess: Ausführung mit/ohne Skill, Bewertung durch einen LLM-Richter und Speicherung der Ergebnisse für Benchmarking.
Wann dieses Skill verwenden
- Du möchtest testen, ob ein Skill die Leistung deines KI-Assistenten tatsächlich verbessert.
- Du entwickelst einen neuen Skill und benötigst objektive Metriken zur Optimierung.
- Du möchtest verschiedene Versionen eines Skills vergleichen (A/B-Testing).
- Der Benutzer bittet um eine quantitative Bewertung der Skill-Wirksamkeit.
Wann dieses Skill nicht verwenden
- Bei einfachen, einmaligen Aufgaben, wo eine formelle Bewertung unnötig ist.
- Wenn der Skill nur kosmetische oder dokumentarische Änderungen vornimmt.
- Wenn der Evaluierungsprozess selbst die Laufzeitumgebung stören würde (z.B. Produktionssysteme).
Erster Schritt
- Stelle sicher, dass die
.env-Datei die erforderlichen API-Schlüssel enthält (LLM_API_KEYfür den Richter,SKILL_PATHfür den zu bewertenden Skill). - Führe das CLI mit dem Befehl
skill-evaluator runaus, um den Evaluierungsprozess zu starten. - Überprüfe die generierte
benchmark_results.json-Datei auf die Bewertungsdetails.
Arbeitsablauf
- Konfiguration: Definiere die Testfälle in einer
test_cases.json-Datei (Aufgaben, Erwartungen). - Ausführung: Der Evaluator führt jede Aufgabe zweimal aus – einmal mit aktiviertem Skill, einmal ohne.
- Bewertung: Ein LLM-Richter bewertet die Ausgabe nach Kriterien wie Korrektheit, Vollständigkeit und Relevanz.
- Berichterstellung: Die Ergebnisse werden in einer Datenbank gespeichert und als Benchmark-Bericht zusammengefasst.
Validierung
- Vergleichsbasis: Prüfe die Punktzahlen „mit Skill“ gegenüber „ohne Skill“. Eine positive Differenz zeigt Verbesserung an.
- Konsistenz: Führe die Evaluierung mehrmals aus, um stabile Ergebnisse zu gewährleisten.
- Richter-Konfiguration: Passe die Bewertungskriterien in der Konfiguration an, falls der Standard-Richter nicht optimal zu deinem Skill passt.
Beispiele
- „Bewerte meinen neuen Code-Generierungs-Skill.“ → Löst den Evaluator aus, um die Leistung im Vergleich zur Basis zu messen.
- „Vergleiche Version 1 und Version 2 des Debugging-Skills.“ → Löst den Evaluator aus, um die Versionen gegeneinander zu benchmarken.