LLM Evaluation Registry est une couche qualité pilotée par le backend pour les flux de travail IA. Il suit les prompts, modèles, cas de test réutilisables, exécutions d'évaluation, résultats de validation, régressions et notes de révision humaine afin que le comportement de l'IA puisse être mesuré plutôt que deviné.
LLM Evaluation Registry est un outil backend conçu pour apporter une couche de qualité et de traçabilité aux workflows d'IA basés sur les modèles de langage (LLM). Il permet d'enregistrer et de suivre l'ensemble des artefacts d'évaluation : prompts utilisés, modèles testés, cas de test réutilisables, exécutions d'évaluation, leurs résultats, les régressions observées, et les notes de révision humaine. Cela permet aux développeurs et aux équipes de passer d'une approche subjective ("est-ce que le modèle répond bien ?") à une approche objective et mesurable, facilitant ainsi la détection de régressions, la comparaison de modèles ou de prompts, et l'audit des performances. Le registre est conçu pour être indépendant des plateformes d'IA spécifiques (comme Claude Code, Cursor, etc.) et s'intègre via une API backend ou des scripts, fournissant une base de données centralisée et versionnée de toutes les évaluations.
npx skills add iamalimaybe/llm-evaluation-registryInstalled? Explore more Productivité et collaboration skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
LLM Evaluation Registry est une couche qualité pilotée par le backend pour les flux de travail IA. Il suit les prompts, modèles, cas de test réutilisables, exécutions d'évaluation, résultats de validation, régressions et notes de révision humaine afin que le comportement de l'IA puisse être mesuré plutôt que deviné.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.