agent-eval-ops-coach은(는) 무엇을 하나요?
Langfuse 평가 운영, 실험 실행, 속성 추적 및 증거 기반 에이전트 반복을 위한 이식 가능한 Codex 스킬
개요
이 스킬은 AI 에이전트 평가 라이프사이클을 체계적으로 관리할 수 있도록 설계되었습니다. Langfuse와 연동하여 평가 데이터를 수집, 분석하고 이를 바탕으로 에이전트를 개선합니다.
주요 기능
- 평가 운영(Eval Ops): Langfuse에서 평가 파이프라인을 구성하고 실행합니다.
- 실험 실행(Experiment Runs): 다양한 설정으로 실험을 실행하고 결과를 비교합니다.
- 속성 추적(Attribution): 각 평가 결과를 특정 에이전트 동작이나 코드 변경에 연결합니다.
- 증거 기반 반복(Evidence-Backed Iteration): 수집된 데이터를 기반으로 에이전트를 체계적으로 개선합니다.
사용 방법
- 스킬을 로드합니다.
eval:run명령어로 평가를 시작합니다.experiment:track명령어로 실험을 추적합니다.attribution:link명령어로 결과를 특정 변경사항에 연결합니다.iterate:analyze명령어로 수집된 증거를 분석하고 개선점을 도출합니다.
전제 조건
- Langfuse 계정 및 API 키
- Codex 호환 환경 (예: Cursor, Claude Code 등)
- Python 3.8+ (스크립트 실행 시)
환경 변수
LANGFUSE_PUBLIC_KEY=your_public_key
LANGFUSE_SECRET_KEY=your_secret_key
LANGFUSE_HOST=https://cloud.langfuse.com
예제
평가 실행
eval:run --pipeline default --dataset my_dataset
실험 추적
experiment:track --name "실험 1" --metadata '{"model": "gpt-4", "temperature": 0.7}'
속성 연결
attribution:link --eval-id abc123 --commit-hash def456
참고 자료
라이선스
MIT