Was macht agent-skill-bench?
Benchmark, ob Agent Skills tatsächlich Forschungs- und Entwicklungsaufgaben verbessern.
Beschreibung
Dieses Skill führt einen Benchmark durch, um die Effektivität von Agent Skills für Forschungs- und Engineering-Aufgaben zu messen. Es vergleicht die Leistung des Agenten mit und ohne aktivierte Skills anhand von standardisierten Testfällen.
Funktionsweise
- Der Agent führt eine Reihe von Aufgaben aus (z. B. Recherche, Code-Refactoring, Debugging).
- Jede Aufgabe wird einmal mit und einmal ohne Skills ausgeführt.
- Metriken wie Ausführungszeit, Ergebnisqualität und Code-Korrektheit werden protokolliert.
- Ein zusammenfassender Bericht zeigt, ob Skills einen signifikanten Vorteil bieten.
Verwendung
# Beispiel für die Ausführung (CLI-Kontext)
agent-skill-bench --tasks research,engineering --iterations 5
Plattformunterstützung
- Claude Code
- Cursor
- Codex
- Andere Agenten-Frameworks mit Skill-Integration
Lizenz
MIT