LLM Evaluation Registry ist eine Backend-gesteuerte Qualitätsschicht für KI-Workflows. Es verfolgt Prompts, Modelle, wiederverwendbare Testfälle, Evaluierungsläufe, Validierungsergebnisse, Regressionen und menschliche Überprüfungsnotizen, sodass KI-Verhalten gemessen anstatt geraten werden kann.
Das LLM Evaluation Registry ist ein Backend-zentriertes Werkzeug, das eine strukturierte Qualitätssicherung für KI-Workflows ermöglicht. Es erfasst detaillierte Metadaten zu Prompts, Modellen, Evaluierungsläufen und Validierungsergebnissen, um das Verhalten von KI-Modellen messbar und nachvollziehbar zu machen. Die Plattform unterstützt Entwickler dabei, Regressionen zu identifizieren, Ergebnisse mit menschlichen Überprüfungen zu kombinieren und wiederholbare Testsuiten zu verwalten. Es eignet sich besonders für Teams, die LLM-basierte Anwendungen entwickeln und eine zuverlässige, datengetriebene Qualitätskontrolle benötigen – unabhängig vom verwendeten KI-Framework oder Modell.
npx skills add iamalimaybe/llm-evaluation-registryInstalled? Explore more Produktivität & Zusammenarbeit skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →
LLM Evaluation Registry ist eine Backend-gesteuerte Qualitätsschicht für KI-Workflows. Es verfolgt Prompts, Modelle, wiederverwendbare Testfälle, Evaluierungsläufe, Validierungsergebnisse, Regressionen und menschliche Überprüfungsnotizen, sodass KI-Verhalten gemessen anstatt geraten werden kann.
Gemini CLI one-shot prompts, summaries, generation, skills, hooks, MCP, or Gemma routing.
Fetch GitHub issues, select candidates, spawn background fix agents, open PRs, and optionally process PR review comments.
Create, edit, audit, tidy, validate, or restructure AgentSkills and SKILL.md files.
Search, install, update, sync, or publish agent skills with the ClawHub CLI and registry.
Delegate coding work to Codex, Claude Code, or OpenCode as background workers; not simple edits or read-only code lookup.
List, configure, authenticate, call, and inspect MCP servers/tools with mcporter over HTTP or stdio.