Communitygithub.com

matt-riley/skill-evaluator

CLI, das eval-gesteuerte Iteration für KI-Skills automatisiert: Ausführung mit/ohne Skill, Bewertung durch LLM-Richter und Benchmarking der Ergebnisse.

Was ist skill-evaluator?

Dieses Skill, genannt „Skill Evaluator“, ist ein leistungsstarkes CLI-Tool, das den Prozess der Bewertung und Optimierung von KI-Agenten-Skills automatisiert. Es ermöglicht Entwicklern, die Auswirkungen eines Skills zu testen, indem es Aufgaben sowohl mit als auch ohne den Skill ausführt und die Ergebnisse von einem LLM-Richter (Large Language Model) bewerten lässt. Die gewonnenen Bewertungen werden in einer strukturierten Benchmark-Datenbank gespeichert, sodass Änderungen und Verbesserungen im Laufe der Zeit quantifiziert und verglichen werden können. Das Tool ist ideal für Entwickler, die mit Plattformen wie Claude Code, Cursor oder Codex arbeiten, um die Effektivität ihrer Skills systematisch zu messen und zu verbessern. Durch die strenge Bewertungsmethodik werden subjektive Eindrücke durch objektive, reproduzierbare Metriken ersetzt, was zu zuverlässigeren und leistungsfähigeren KI-Assistenten führt.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add matt-riley/skill-evaluator

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Bewertung der KI-Skill-Leistung mit Eval-Driven Iteration

Nutze dieses Skill, um die Effektivität deiner KI-Skills systematisch zu bewerten und zu verbessern. Es automatisiert den gesamten Eval-Prozess: Ausführung mit/ohne Skill, Bewertung durch einen LLM-Richter und Speicherung der Ergebnisse für Benchmarking.

Wann dieses Skill verwenden

  • Du möchtest testen, ob ein Skill die Leistung deines KI-Assistenten tatsächlich verbessert.
  • Du entwickelst einen neuen Skill und benötigst objektive Metriken zur Optimierung.
  • Du möchtest verschiedene Versionen eines Skills vergleichen (A/B-Testing).
  • Der Benutzer bittet um eine quantitative Bewertung der Skill-Wirksamkeit.

Wann dieses Skill nicht verwenden

  • Bei einfachen, einmaligen Aufgaben, wo eine formelle Bewertung unnötig ist.
  • Wenn der Skill nur kosmetische oder dokumentarische Änderungen vornimmt.
  • Wenn der Evaluierungsprozess selbst die Laufzeitumgebung stören würde (z.B. Produktionssysteme).

Erster Schritt

  1. Stelle sicher, dass die .env-Datei die erforderlichen API-Schlüssel enthält (LLM_API_KEY für den Richter, SKILL_PATH für den zu bewertenden Skill).
  2. Führe das CLI mit dem Befehl skill-evaluator run aus, um den Evaluierungsprozess zu starten.
  3. Überprüfe die generierte benchmark_results.json-Datei auf die Bewertungsdetails.

Arbeitsablauf

  1. Konfiguration: Definiere die Testfälle in einer test_cases.json-Datei (Aufgaben, Erwartungen).
  2. Ausführung: Der Evaluator führt jede Aufgabe zweimal aus – einmal mit aktiviertem Skill, einmal ohne.
  3. Bewertung: Ein LLM-Richter bewertet die Ausgabe nach Kriterien wie Korrektheit, Vollständigkeit und Relevanz.
  4. Berichterstellung: Die Ergebnisse werden in einer Datenbank gespeichert und als Benchmark-Bericht zusammengefasst.

Validierung

  • Vergleichsbasis: Prüfe die Punktzahlen „mit Skill“ gegenüber „ohne Skill“. Eine positive Differenz zeigt Verbesserung an.
  • Konsistenz: Führe die Evaluierung mehrmals aus, um stabile Ergebnisse zu gewährleisten.
  • Richter-Konfiguration: Passe die Bewertungskriterien in der Konfiguration an, falls der Standard-Richter nicht optimal zu deinem Skill passt.

Beispiele

  • „Bewerte meinen neuen Code-Generierungs-Skill.“ → Löst den Evaluator aus, um die Leistung im Vergleich zur Basis zu messen.
  • „Vergleiche Version 1 und Version 2 des Debugging-Skills.“ → Löst den Evaluator aus, um die Versionen gegeneinander zu benchmarken.

Verwandte Skills