AI 평가
Chip Huyen의 "AI Engineering"(3-4장)에서 얻은 지식입니다. 기초 모델과 그 위에 구축된 AI 시스템을 평가하는 실용적인 방법을 다룹니다.
빠른 시작
guidelines.md를 확인하여 작업에 로드할 파일을 찾습니다.- 관련 파일만 로드합니다(각 주제는 knowledge.md, rules.md, examples.md로 구성됨).
- 지침을 작업에 적용합니다.
목차
참고 자료
| 분류 | 목적 |
|---|---|
language-modeling-metrics | 엔트로피, 교차 엔트로피, 혼잡도, 문자당 비트 수 |
exact-evaluation | 기능적 정확성, 정확 일치, 어휘/의미 유사도, 임베딩 |
ai-as-judge | AI 심사관을 사용해야 하는 경우, 프롬프트 작성 방법, 한계 및 편향 |
comparative-evaluation | 쌍별 비교로 모델 순위 매기기, Bradley-Terry 모델, 확장성 문제 |
evaluation-criteria | 도메인 역량, 생성(사실성, 안전성), 지시 따르기, 비용/지연 시간 |
model-selection | 선택 워크플로, 오픈 소스 대 API, 공개 벤치마크 탐색 |
evaluation-pipeline | 종단 간 파이프라인 설계, 채점 루브릭, 평가 방법 |
워크플로
| 작업 | 워크플로 |
|---|---|
| 모델 선택 (직접 구축 vs 구매, OS vs API) | workflows/select-model.md |
| 종단 간 평가 파이프라인 설계 | workflows/design-eval-pipeline.md |
지침
작업 기반 파일 선택은 guidelines.md를 참조하세요.