Was macht agent-eval-harness?
Live, Open-Source-Benchmark zum Vergleich von KI-Coding-Agenten anhand realer GitHub-Issues
Live, Open-Source-Benchmark zum Vergleich von KI-Coding-Agenten anhand realer GitHub-Issues
Der **linny006/agent-eval-harness** ist ein Open-Source-Benchmark, der live läuft und Entwickler:innen sowie KI-Agent-Nutzer:innen ermöglicht, die Leistungsfähigkeit verschiedener KI-Coding-Agenten direkt an realen GitHub-Issues zu messen und zu vergleichen. Das Tool bietet eine standardisierte Evaluierungsumgebung, in der Agenten Aufgaben aus echten Open-Source-Projekten lösen müssen – von Bugfixes über Feature-Implementierungen bis hin zu Refactorings. Es unterstützt mehrere gängige KI-Agent-Plattformen wie Claude Code, Cursor und Codex, sodass Nutzer:innen unabhängig von ihrem bevorzugten Tool konsistente Ergebnisse erhalten. Die Bewertung erfolgt automatisiert anhand vordefinierter Metriken wie Korrektheit der Lösung, Ausführungszeit und Codequalität. Dadurch eignet sich der Harness sowohl für die kontinuierliche Integration in CI/CD-Pipelines als auch für Ad-hoc-Vergleiche während der Entwicklung. Da der Benchmark vollständig auf GitHub gehostet wird, können Interessierte jederzeit neue Issues einreichen oder die Evaluierungskriterien anpassen, um die Relevanz für konkrete Anwendungsfälle zu erhöhen.
npx skills add linny006/agent-eval-harnessInstalled? Explore more Recherche & Datenanalyse skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →
Live, Open-Source-Benchmark zum Vergleich von KI-Coding-Agenten anhand realer GitHub-Issues
USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.
Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.
Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.
The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.
Agent skill repository discovered by 10x-chat research.
Review backend code for quality, security, maintainability, and best practices based on established checklist rules. Use when the user requests a review, analysis, or improvement of backend files (e.g., `.py`) under the `api/` directory. Do NOT use for frontend files (e.g., `.tsx`, `.ts`, `.js`). Supports pending-change review, code snippets review, and file-focused review.