AjaneeI/agent-skills

Prüft, ob ein Benchmark-Bewerter tatsächlich das beabsichtigte Verhalten misst und nicht nur oberflächliche Labels oder durchgesickerte Antworten. Verwenden Sie diese Prüfung, bevor Sie Auswertungen einfrieren, Modellvergleiche akzeptieren oder Behauptungen über Aufgabenerfolge interpretieren.

Was ist agent-skills?

Dieses Skill führt eine Gültigkeitsprüfung von Evaluatoren durch, die in Benchmark-Umgebungen für KI-Agenten eingesetzt werden. Es deckt systematisch auf, ob ein Bewerter tatsächlich das beabsichtigte Konstrukt misst – wie Antwortkorrektheit, Belegbasierung oder Einhaltung von Grenzen – oder ob Bewertungsfehler wie falsche Akzeptanz, falsche Zurückweisung oder nicht erkannte gültige Alternativen vorliegen. Der Prozess umfasst die Erstellung von Positivkontrollen, Negativkontrollen und gültigen Alternativen, die Prüfung der Bewertungslogik sowie die formale Klassifikation von Defekten. Das Skill eignet sich für deterministische und modellgestützte Bewerter und ist plattformunabhängig einsetzbar (z. B. mit Claude Code, Cursor oder Codex). Der Output besteht aus einer detaillierten Kontrollmatrix, die die Validität des Evaluators dokumentiert, bevor Metriken eingefroren oder Schlussfolgerungen gezogen werden.

Funktioniert mit~Claude Code~Codex CLI~Cursor

npx skills add https://github.com/AjaneeI/agent-skills/tree/HEAD/skills/evaluator-validity-audit

Dokumentation

Gültigkeitsprüfung eines Evaluators

Anwendungsbereich

Verwenden Sie diese Prüfung bei deterministischen oder modellgestützten Bewertern, bei denen Bewertungsfehler dazu führen können, dass falsche Antworten als korrekt erscheinen oder legitime Alternativen durchfallen.

Vorgehen

Nennen Sie das Konstrukt, das gemessen wird: Antwortkorrektheit, Belegbasierung, erforderliche Tool-Aktion, Berechtigungsgrenze, Populationsumfang usw. Trennen Sie diese Dimensionen.
Ordnen Sie jeder Aufgabe Referenzlösungen, Eingabeannahmen, die Bewerterlogik, akzeptierte alternative Verhaltensweisen und explizite Fehlercodes zu.
Testen Sie Positivkontrollen (tatsächlich korrekt), Negativkontrollen (falsche Werte, fehlende Belege, vorgetäuschte Tool-Ergebnisse, unzulässige Aktionen) und gültige Alternativen (äquivalentes SQL, Belegpfade oder Argumentationsweisen).
Stellen Sie sicher, dass Beobachtungsfelder aus tatsächlichen Laufzeitbelegen abgeleitet werden und nicht aus modellverfassten Labels oder unzuverlässigen Ergebnismetadaten stammen.
Führen Sie Kontrollen durch, ohne zurückgehaltene Instanzen dem Entwicklungsagenten auszusetzen. Bewahren Sie Gegenbeispiele und deren ursprüngliche Belege auf.
Klassifizieren Sie Defekte als falsche Akzeptanz, falsche Zurückweisung, mehrdeutigen Aufgabenvertrag oder nicht unterstützte, aber gültige Alternative. Unterscheiden Sie Bewerterdefekte von Modell- oder Laufzeitfehlern.
Schlagen Sie versionierte Änderungen mit erwarteten Verhaltensänderungen vor; passen Sie den Bewerter nicht stillschweigend an, nachdem bestätigende Ergebnisse gesehen wurden.
Frieren Sie die Bewertung erst ein, wenn das festgelegte Gültigkeitskriterium erfüllt ist, oder berichten Sie explizit über verbleibende Einschränkungen und enthalten Sie sich Behauptungen.

Ausgabe

Eine geprüfte Fallmatrix, die Referenz-, Gegen- und Alternativfälle, erwartete vs. beobachtete Fehlercodes sowie ungelöste Defekte zeigt.

Abbruchbedingungen

Halten Sie die bestätigende Interpretation bei ungelösten Defekten an, die den gemessenen Erfolg wesentlich verändern. Bestehende Tests allein begründen noch keine Gültigkeit, wenn wichtige Gegenbeispiele fehlen.