Was macht eval-bench?
Benchmarken Sie Claude Code Plugins/Skills/Agents/MCPs durch A/B-Vergleiche von Versionen mit LLM-bewerteten Evaluations-Prompts.
Benchmarken Sie Claude Code Plugins/Skills/Agents/MCPs durch A/B-Vergleiche von Versionen mit LLM-bewerteten Evaluations-Prompts.
Dieses Skill ermöglicht das Benchmarking von Claude Code Erweiterungen (Plugins, Skills, Agenten, MCPs) mittels A/B-Tests zwischen verschiedenen Versionen. Es verwendet einen LLM (Large Language Model), um die Ausgaben der zu vergleichenden Versionen anhand von Evaluations-Prompts zu bewerten. Entwickler können so objektiv feststellen, welche Version eines Tools besser abschneidet, ohne auf manuelle Tests oder subjektive Einschätzungen angewiesen zu sein. Es ist besonders nützlich für iterative Verbesserungen von KI-Agenten, da es reproduzierbare und automatisierte Qualitätsvergleiche ermöglicht. Das Skill unterstützt verschiedene Plattformen und kann in CI/CD-Pipelines integriert werden, um kontinuierlich die Leistung von KI-Komponenten zu überwachen. Der Workflow umfasst das Einreichen von Prompts, das Sammeln von Antworten der zu vergleichenden Versionen und die anschließende Bewertung durch einen LLM-Richter, basierend auf vordefinierten Kriterien wie Genauigkeit, Relevanz oder Vollständigkeit.
npx skills add derberg/eval-benchInstalled? Explore more Codierung & Entwicklung skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →
Benchmarken Sie Claude Code Plugins/Skills/Agents/MCPs durch A/B-Vergleiche von Versionen mit LLM-bewerteten Evaluations-Prompts.
Send and manage iMessages via BlueBubbles, including attachments, tapbacks, edits, replies, and groups.
Control Eight Sleep pods (status, temperature, alarms, schedules).
BluOS CLI (blu) for discovery, playback, grouping, and volume.
Create, search, and manage Bear notes via grizzly CLI.
Capture frames or clips from RTSP/ONVIF cameras.
Search GIF providers with CLI/TUI, download results, and extract stills/sheets.