agent_eval은(는) 무엇을 하나요?
Claude Code 스킬 번들(.claude/skills/)과 CLAUDE.md 설정을 위한 오픈소스 벤치마크입니다. Pass@k + 비용 + 신뢰성, 콘텐츠 주소 지정 리더보드를 제공하며 Anthropic / OpenAI / Google 모델에서 실행됩니다.
주요 기능
- 스킬 번들 평가:
.claude/skills/디렉토리에 있는 스킬 번들의 성능을 측정하고 비교합니다. - 설정 파일 분석:
CLAUDE.md파일이 에이전트 동작에 미치는 영향을 평가합니다. - 다양한 지표: Pass@k(작업 완료율), 실행 비용, 신뢰성 점수를 종합적으로 분석합니다.
- 콘텐츠 주소 리더보드: 변경 사항을 추적하고 재현 가능한 비교를 위한 리더보드를 제공합니다.
- 멀티 모델 지원: Anthropic, OpenAI, Google의 모델을 백엔드로 사용할 수 있습니다.
사용 방법
-
claude_sdk를 설치합니다:pip install claude-sdk -
벤치마크를 실행합니다:
python -m agent_eval.run --skill-path .claude/skills/ --claude-config CLAUDE.md --model anthropic -
리더보드에 결과를 제출합니다:
python -m agent_eval.submit --result-file results.json
요구 사항
- Python 3.9 이상
- Claude Code 환경
- Anthropic/OpenAI/Google API 키 (선택 사항, 실행 백엔드에 따라)
지원 모델
- Anthropic: Claude 3 Opus, Claude 3 Sonnet
- OpenAI: GPT-4, GPT-4 Turbo
- Google: Gemini 1.5 Pro, Gemini Ultra
라이선스
MIT License - 자유롭게 사용, 수정, 배포할 수 있습니다.