AI 評価
Chip Huyen 著「AI Engineering」(第3〜4章) からの知識。基盤モデルおよびその上に構築されたAIシステムを評価するための実践的な方法。
クイックスタート
guidelines.mdを確認し、タスクにどのファイルを読み込むべきか判断する- 関連するファイルのみを読み込む（各トピックに knowledge.md、rules.md、examples.md があります）
- ガイダンスを作業に適用する
内容
リファレンス
| カテゴリ | 目的 |
|---|---|
language-modeling-metrics | エントロピー、交差エントロピー、パープレキシティ、ビット毎文字 |
exact-evaluation | 機能的正当性、完全一致、語彙/意味的類似性、埋め込み |
ai-as-judge | AI 評価者を使用するタイミング、プロンプト方法、限界とバイアス |
comparative-evaluation | ペアワイズ比較によるモデルランキング、Bradley-Terry、スケーラビリティの課題 |
evaluation-criteria | ドメイン能力、生成（事実性、安全性）、指示追従、コスト/レイテンシ |
model-selection | 選択ワークフロー、オープンソース vs API、公開ベンチマークの活用 |
evaluation-pipeline | エンドツーエンドのパイプラインデザイン、スコアリングルーブリック、評価手法 |
ワークフロー
| タスク | ワークフロー |
|---|---|
| モデルを選択する（ビルド vs 購入、OS vs API） | workflows/select-model.md |
| エンドツーエンドの評価パイプラインを設計する | workflows/design-eval-pipeline.md |
ガイドライン
タスクベースのファイル選択については guidelines.md を参照してください。