Agent-Eval Skill
Ein leichtgewichtiges CLI-Tool für den direkten Vergleich von Coding-Agenten bei reproduzierbaren Aufgaben. Jeder „Welcher Coding-Agent ist der beste?“-Vergleich basiert auf Bauchgefühl – dieses Tool systematisiert ihn.
Wann aktivieren
- Vergleich von Coding-Agenten (Claude Code, Aider, Codex, etc.) auf Ihrer eigenen Codebasis
- Messung der Agentenleistung vor der Einführung eines neuen Tools oder Modells
- Durchführung von Regressionstests, wenn ein Agent sein Modell oder seine Werkzeuge aktualisiert
- Erstellung datengestützter Entscheidungen zur Agentenauswahl für ein Team
Installation
Hinweis: Installieren Sie agent-eval aus dem Repository, nachdem Sie den Quellcode überprüft haben.
Kernkonzepte
YAML-Aufgabendefinitionen
Definieren Sie Aufgaben deklarativ. Jede Aufgabe gibt an, was zu tun ist, welche Dateien bearbeitet werden sollen und wie der Erfolg bewertet wird:
name: add-retry-logic
description: Exponential Backoff-Wiederholung zum HTTP-Client hinzufügen
repo: ./my-project
files:
- src/http_client.py
prompt: |
Füge Wiederholungslogik mit exponentiellem Backoff zu allen HTTP-Anfragen hinzu.
Maximal 3 Wiederholungen. Anfangsverzögerung 1s, maximale Verzögerung 30s.
judge:
- type: pytest
command: pytest tests/test_http_client.py -v
- type: grep
pattern: "exponential_backoff|retry"
files: src/http_client.py
commit: "abc1234" # Auf bestimmten Commit für Reproduzierbarkeit festlegen
Git-Worktree-Isolation
Jeder Agentenlauf erhält einen eigenen Git-Worktree – kein Docker erforderlich. Dies bietet Reproduzierbarkeit und Isolation, sodass Agenten sich nicht gegenseitig beeinflussen oder das Basis-Repository beschädigen können.
Erfasste Metriken
| Metrik | Was wird gemessen? |
|---|---|
| Bestehensquote | Hat der Agent Code erzeugt, der den Prüfpunkt besteht? |
| Kosten | API-Ausgaben pro Aufgabe (wenn verfügbar) |
| Zeit | Wanduhr-Sekunden bis zur Fertigstellung |
| Konsistenz | Bestehensquote über wiederholte Läufe (z. B. 3/3 = 100%) |
Arbeitsablauf
1. Aufgaben definieren
Erstellen Sie ein Verzeichnis tasks/ mit YAML-Dateien, eine pro Aufgabe:
mkdir tasks
# Aufgabendefinitionen schreiben (siehe Vorlage oben)
2. Agenten ausführen
Führen Sie Agenten gegen Ihre Aufgaben aus:
agent-eval run --task tasks/add-retry-logic.yaml --agent claude-code --agent aider --runs 3
Jeder Lauf:
- Erstellt einen neuen Git-Worktree aus dem angegebenen Commit
- Übergibt den Prompt an den Agenten
- Führt die Bewertungskriterien aus
- Zeichnet Bestehen/Fehlschlag, Kosten und Zeit auf
3. Ergebnisse vergleichen
Erstellen Sie einen Vergleichsbericht:
agent-eval report --format table
Task: add-retry-logic (3 Läufe pro Agent)
┌──────────────┬───────────┬────────┬────────┬─────────────┐
│ Agent │ Bestehensq.│ Kosten │ Zeit │ Konsistenz │
├──────────────┼───────────┼────────┼────────┼─────────────┤
│ claude-code │ 3/3 │ $0.12 │ 45s │ 100% │
│ aider │ 2/3 │ $0.08 │ 38s │ 67% │
└──────────────┴───────────┴────────┴────────┴─────────────┘
Bewertungsarten
Codebasiert (deterministisch)
judge:
- type: pytest
command: pytest tests/ -v
- type: command
command: npm run build
Musterbasiert
judge:
- type: grep
pattern: "class.*Retry"
files: src/**/*.py
Modellbasiert (LLM als Richter)
judge:
- type: llm
prompt: |
Enthält diese Implementierung korrektes exponentielles Backoff?
Prüfe auf: maximale Wiederholungen, steigende Verzögerungen, Jitter.
Best Practices
- Beginnen Sie mit 3-5 Aufgaben, die Ihre tatsächliche Arbeitslast repräsentieren, keine trivialen Beispiele
- Führen Sie mindestens 3 Durchläufe pro Agent durch, um die Varianz zu erfassen – Agenten sind nicht deterministisch
- Legen Sie den Commit in Ihrer Aufgaben-YAML fest, damit Ergebnisse über Tage/Wochen reproduzierbar sind
- Fügen Sie mindestens einen deterministischen Richter (Tests, Build) pro Aufgabe hinzu – LLM-Richter erhöhen das Rauschen
- Erfassen Sie die Kosten zusammen mit der Bestehensquote – ein 95%-Agent zu 10-fachen Kosten ist möglicherweise nicht die richtige Wahl
- Versionieren Sie Ihre Aufgabendefinitionen – sie sind Testvorlagen, behandeln Sie sie wie Code
Links
- Repository: github.com/joaquinhuigomez/agent-eval