Was macht ResearchClawBench?
🦞 ResearchClawBench: Bewertung von KI-Agenten für automatisierte Forschung – von der Wiederentdeckung bis zur Neuentdeckung
Überblick
ResearchClawBench ist ein umfassendes Benchmark-Framework zur Bewertung der Forschungsfähigkeiten von KI-Agenten. Es ist darauf ausgelegt, sowohl die Fähigkeit zur Re-Discovery (Nachvollziehen und Validieren existierender wissenschaftlicher Ergebnisse) als auch zur New-Discovery (Generieren neuer, originärer wissenschaftlicher Erkenntnisse) zu messen.
Warum dieses Benchmark?
- Reproduzierbarkeit: Stellt sicher, dass Agenten wissenschaftliche Methoden korrekt replizieren können.
- Innovation: Bewertet, ob Agenten über reines Nachahmen hinausgehen und echte neue Entdeckungen machen können.
- Plattformunabhängigkeit: Unterstützt mehrere bekannte KI-Agenten-Ökosysteme (Claude Code, Cursor, Codex).
Plattformen
- Claude Code: Vollständig integriert für agentische Workflows.
- Cursor: Nutzt Kontextverständnis für interaktive Forschung.
- Codex: Bietet Skript- und API-basierte Evaluierung.
Wie es funktioniert
- Aufgabenauswahl: Wähle eine Aufgabe aus dem Benchmark-Set (z.B. "Reproduziere Experiment X" oder "Finde neue Korrelation in Datensatz Y").
- Agent-Ausführung: Der KI-Agent führt die Aufgabe aus (Literaturrecherche, Code-Ausführung, Datenanalyse).
- Bewertung: Die Ergebnisse werden anhand vordefinierter Metriken bewertet, die sowohl Korrektheit als auch Neuheitsgrad messen.
Erste Schritte
git clone https://github.com/InternScience/ResearchClawBench.git
cd ResearchClawBench
pip install -r requirements.txt
python run_benchmark.py --agent claude --task re-discovery:exp1
Metriken
| Metrik | Beschreibung |
|---|---|
| Re-Discovery Score | Wie genau ein Agent existierende Ergebnisse repliziert |
| New-Discovery Score | Grad der Neuheit und Validität generierter Erkenntnisse |
| Effizienz | Rechenzeit und Ressourcennutzung |
| Reproduzierbarkeit | Konsistenz der Ergebnisse über mehrere Läufe hinweg |
Beitragen
Wir freuen uns über Beiträge! Bitte lies die CONTRIBUTING.md für Details.
Lizenz
Dieses Projekt ist unter der MIT-Lizenz lizenziert – siehe LICENSE für Details.