iamalimaybe/llm-evaluation-registry

llm-evaluation-registry 是什么？

LLM 评估注册表是一个后端驱动的质量层，专为 AI 工作流设计。它通过系统化地记录和管理所有与 LLM 评估相关的元数据——包括提示词、模型配置、可复用的测试用例、评估运行日志、验证结果、回归检测记录以及人工审核笔记，为 AI 代理用户和开发者提供一种可度量的方式来评估和改进 AI 行为，替代了主观猜测。该工具深度集成在开发工作流中，支持主流 AI 代理平台（如 Claude Code、Cursor、Codex 等），通过标准化的 API 或 CLI 接口进行操作。它的核心价值在于帮助团队跟踪 AI 行为的变化趋势，快速识别回归问题，并为人工审核提供结构化的上下文，从而确保 AI 输出的一致性和可靠性。