helloJamest/SkillBench

SkillBench est un framework open-source pour évaluer et faire évoluer les compétences Codex avec génération de cas d'évaluation, notation par juge uniquement ou agent complet, tableaux de bord traçables, passerelles CI et boucles de rétroaction de style GEPA pour améliorer la documentation des compétences.

Qu'est-ce que SkillBench ?

SkillBench est un framework open-source conçu pour évaluer et améliorer les compétences Codex (skills). Il facilite la génération de cas d'évaluation (eval-cases) à partir de la documentation de la compétence, puis exécute des tests en mode « juge uniquement » (comparaison concise) ou « agent complet » (exécution réelle avec retour détaillé). Les résultats sont stockés dans un fichier JSON traçable et peuvent être affichés dans un tableau de bord local ou dans un résumé de PR GitHub. SkillBench permet également d'intégrer des passerelles CI (par exemple avec GitHub Actions) pour bloquer les changements qui dégradent la qualité, et propose des boucles de rétroaction de style GEPA (Generative Evaluation and Performance Adjustment) pour améliorer itérativement la documentation des compétences. Ce framework est idéal pour les équipes qui souhaitent garantir la fiabilité et l'évolutivité de leurs compétences Codex dans des environnements de développement.

Compatible avec~Claude Code✓Codex CLI~Cursor
npx skills add helloJamest/SkillBench

Installed? Explore more Développement et programmation skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait SkillBench ?

SkillBench est un framework open-source pour évaluer et faire évoluer les compétences Codex avec génération de cas d'évaluation, notation par juge uniquement ou agent complet, tableaux de bord traçables, passerelles CI et boucles de rétroaction de style GEPA pour améliorer la documentation des compétences.

Skills associés