CommunityCodierung & Entwicklunggithub.com

adewale/skill-eval-harness

Evaluierungs-Tool für Agenten-Skills mit gepaarten Varianten, Ablaufverfolgungsartefakten und Runner-Adaptern

Was ist skill-eval-harness?

Der Skill `adewale/skill-eval-harness` ist eine Evaluierungsplattform für KI-Agenten-Skills, die speziell für den Vergleich von Varianten, die Erfassung von Ablaufverfolgungsartefakten und die Unterstützung verschiedener Runner-Adapter entwickelt wurde. Er ermöglicht es Entwicklern, die Leistung und Korrektheit von Agenten-Skills in kontrollierten Umgebungen zu testen, indem sie gepaarte Varianten vergleichen – ähnlich wie A/B-Tests für Agentenverhalten. Der Skill umfasst eine Beispiel-Demo (`Demo Reviewer`), die zwei Kernkomponenten demonstriert: eine Schweregradregel und eine Checklistenreferenz. Diese Demo dient als einfaches, aber vollständiges Beispiel, um die Funktionsweise des Harness von Anfang bis Ende zu veranschaulichen. Der Skill eignet sich besonders für Entwickler, die CI/CD-Pipelines für Agenten-Skills aufbauen oder qualitative Benchmarks für Agentenverhalten definieren möchten. Er unterstützt die Erstellung detaillierter Artefakte, die zur Analyse und Optimierung von Agentenentscheidungen genutzt werden können.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add adewale/skill-eval-harness

Installed? Explore more Codierung & Entwicklung skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Demo Reviewer

Ein bewusst winziger Skill, der nur existiert, um das Harness Ende-zu-Ende zu demonstrieren (einschließlich materialisierter Ablationen). Er besteht aus genau zwei tragenden Teilen – einer Schweregradregel und einem Checklistenverweis – von denen jede in einer der folgenden Ablationen adressiert wird.

Schweregradregeln

Kennzeichne jeden Befund mit einem der folgenden: Blocking, Minor oder Clean. Gib das Label explizit an, damit der Leser auf einen Blick priorisieren kann. Eine Änderung, die ohne Test ausgeliefert wird, ist mindestens Blocking.

Nachweise

Untermauere jeden Befund mit konkreten Nachweisen und folge der gemeinsamen Review-Checkliste: siehe die Review-Checkliste.

Verwandte Skills