Communitygithub.com

EurecaMoment/BenchClaw

BenchClaw ist ein Codex/OpenCode-Skill-Workflow für die Erstellung, Evaluierung und Wartung von Benchmarks. Es standardisiert die gesamte Pipeline – vom Ideenentwurf und der Datengenerierung bis hin zur Evaluierung, Berichterstattung, Fehlerdiagnose und Skill-Verfeinerung – sodass Agenten reproduzierbare, überprüfbare Benchmarks mit klaren Qualitätsstufen, Abstammungsnachweisen und Rollback-Funktionen erstellen können.

Was ist BenchClaw?

BenchClaw ist ein spezialisierter Skill für Codex/OpenCode-Agenten, der den gesamten Lebenszyklus von Benchmarks automatisiert und standardisiert. Der Skill führt Agenten durch einen strukturierten Workflow, der mit der Ideenfindung und -dokumentation beginnt, über die Datengenerierung und -validierung bis hin zur Durchführung von Evaluierungen und der Erstellung detaillierter Berichte reicht. Ein besonderer Fokus liegt auf Reproduzierbarkeit und Auditierbarkeit: BenchClaw implementiert klare Qualitätsstufen (Quality Gates), verfolgt die Abstammung (Lineage) von Daten und Ergebnissen und ermöglicht bei Fehlern oder Änderungen ein zuverlässiges Rollback. Entwickler und Agenten können so sicherstellen, dass Benchmarks konsistent sind, Änderungen nachvollziehbar bleiben und Fehler schnell diagnostiziert werden können. Der Skill unterstützt gängige Evaluierungsframeworks und lässt sich in CI/CD-Pipelines integrieren, um Benchmarks kontinuierlich zu warten und zu verbessern.

Funktioniert mit~Claude Code✓Codex CLI~Cursor✓OpenCode
npx skills add EurecaMoment/BenchClaw

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Was macht BenchClaw?

BenchClaw ist ein Codex/OpenCode-Skill-Workflow für die Erstellung, Evaluierung und Wartung von Benchmarks. Es standardisiert die gesamte Pipeline – vom Ideenentwurf und der Datengenerierung bis hin zur Evaluierung, Berichterstattung, Fehlerdiagnose und Skill-Verfeinerung – sodass Agenten reproduzierbare, überprüfbare Benchmarks mit klaren Qualitätsstufen, Abstammungsnachweisen und Rollback-Funktionen erstellen können.

Verwandte Skills