AI评估
来自《AI Engineering》（Chip Huyen著，第3-4章）的知识。评估基础模型及其上层AI系统的实用方法。
快速开始
- 查看
guidelines.md以了解任务所需的文件 - 仅加载相关文件（每个主题包含 knowledge.md、rules.md、examples.md）
- 将指导应用于你的工作
内容
参考资料
| 类别 | 目的 |
|---|---|
language-modeling-metrics | 熵、交叉熵、困惑度、每字符比特数 |
exact-evaluation | 功能正确性、精确匹配、词汇/语义相似度、嵌入 |
ai-as-judge | 何时使用AI评委、如何提示、局限性及偏差 |
comparative-evaluation | 使用成对比较对模型排序、Bradley-Terry模型、可扩展性挑战 |
evaluation-criteria | 领域能力、生成（事实性、安全性）、指令遵循、成本/延迟 |
model-selection | 选择工作流、开源vs API、解读公开基准 |
evaluation-pipeline | 端到端流水线设计、评分准则、评估方法 |
工作流
| 任务 | 工作流 |
|---|---|
| 选择模型（自建vs采购，开源vs API） | workflows/select-model.md |
| 设计端到端评估流水线 | workflows/design-eval-pipeline.md |
指南
参见 guidelines.md 以基于任务选择文件。