AI 評估
知識來源：Chip Huyen 所著《AI 工程》(第 3-4 章)。評估基礎模型及其上層 AI 系統的實務方法。
快速入門
- 查看
guidelines.md以確定要為你的任務載入哪些檔案 - 僅載入相關檔案 (每個主題包含 knowledge.md、rules.md、examples.md)
- 將指引應用於你的工作
內容
參考資料
| 類別 | 目的 |
|---|---|
language-modeling-metrics | 熵、交叉熵、困惑度、每字元位元數 |
exact-evaluation | 功能正確性、完全匹配、詞彙/語義相似度、嵌入 |
ai-as-judge | 何時使用 AI 評判、如何提供提示、限制與偏差 |
comparative-evaluation | 使用成對比較對模型進行排名、Bradley-Terry 模型、可擴展性挑戰 |
evaluation-criteria | 領域能力、生成 (事實性、安全性)、指令遵循、成本/延遲 |
model-selection | 選擇流程、開源 vs API、瀏覽公開基準測試 |
evaluation-pipeline | 端到端管線設計、評分標準、評估方法 |
工作流程
| 任務 | 工作流程 |
|---|---|
| 選擇模型 (自建 vs 購買、開源 vs API) | workflows/select-model.md |
| 設計端到端評估管線 | workflows/design-eval-pipeline.md |
指引
請參閱 guidelines.md 以根據任務選擇檔案。