derberg/eval-bench

Qu'est-ce que eval-bench ?

Cette compétence permet de benchmarker des plugins, compétences, agents ou MCPs conçus pour Claude Code en effectuant une comparaison A/B entre deux versions. Son objectif principal est d’aider les développeurs à mesurer objectivement la qualité et la pertinence des comportements des agents via des prompts d’évaluation soumis à un LLM juge. Elle est utile pour valider des améliorations, détecter des régressions ou optimiser les configurations sans intervention manuelle lourde. L’outil fonctionne en exécutant les deux versions côte à côte sur des scénarios prédéfinis, puis en soumettant les résultats à un LLM qui note leur conformité aux attentes. Le résultat est un score comparatif clair, facilitant les décisions de déploiement ou d’itération. Cette approche est particulièrement adaptée aux workflows d’intégration continue et d’expérimentation autour de Claude Code.