Registro de Evaluación de LLM es una capa de calidad impulsada por backend para flujos de trabajo de IA. Rastrea prompts, modelos, casos de prueba reutilizables, ejecuciones de evaluación, resultados de validación, regresiones y notas de revisión humana para que el comportamiento de la IA pueda medirse en lugar de adivinarse.
El Registro de Evaluación de LLM (LLM Evaluation Registry) es una herramienta de backend que actúa como una capa de calidad sistemática para aplicaciones de IA. Su propósito es reemplazar la dependencia de evaluaciones subjetivas o adivinanzas sobre el comportamiento de los modelos de lenguaje, proporcionando una plataforma centralizada para registrar y analizar métricas clave. La herramienta permite a los desarrolladores y equipos de IA definir y reutilizar casos de prueba, ejecutar evaluaciones automatizadas contra diferentes modelos y prompts, y rastrear cambios en el rendimiento a lo largo del tiempo para identificar regresiones. Además, ofrece funcionalidades para la revisión humana de resultados, lo que facilita un ciclo de retroalimentación completo. Está diseñado para ser integrado en pipelines de CI/CD y flujos de trabajo basados en agentes de IA, compatible con plataformas como Claude Code, Cursor y Codex. En esencia, el registro transforma el proceso de evaluación de modelos de un esfuerzo manual y especulativo a un proceso medible, repetible y basado en datos, mejorando la confiabilidad y la trazabilidad de los sistemas de IA.
npx skills add iamalimaybe/llm-evaluation-registryInstalled? Explore more Productividad y colaboración skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
El Registro de Evaluación de LLM es una capa de calidad impulsada por backend para flujos de trabajo de IA. Rastrea prompts, modelos, casos de prueba reutilizables, ejecuciones de evaluación, resultados de validación, regresiones y notas de revisión humana para que el comportamiento de la IA pueda medirse en lugar de adivinarse.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.