phoenix은(는) 무엇을 하나요?
프로덕션 에이전트 배포에서 구조적 프롬프트 효과를 계산하도록 설계된 휴리스틱 평가 스크립트입니다.
개요
이 스크립트는 AI 에이전트(Claude Code, Cursor, Codex 등)가 사용하는 프롬프트의 구조적 품질을 정량적으로 평가합니다. heuristic_eval 명령어를 통해 프롬프트를 분석하고 점수를 산출합니다.
기능
- 프롬프트 구조 분석: 프롬프트의 구성 요소(지시사항, 컨텍스트, 예제 등) 식별
- 효과성 점수 계산: 사전 정의된 휴리스틱 규칙에 따라 0~100 점수 부여
- 배포 환경 통합: CI/CD 파이프라인에서 자동 실행 가능
사용 방법
# 기본 평가 실행
heuristic_eval --prompt "your_prompt_here"
# 설정 파일 사용
heuristic_eval --config config.yaml
설정 예시 (config.yaml)
evaluation:
rules:
- name: clarity
weight: 0.4
- name: relevance
weight: 0.6
output: json
환경 변수
HEURISTIC_EVAL_PATH: 평가 규칙 파일 위치LOG_LEVEL: 로깅 수준 (info, debug, error)
지원 플랫폼
| 플랫폼 | 지원 버전 |
|---|---|
| Claude Code | v1.0+ |
| Cursor | v0.5+ |
| Codex | v2.0+ |
참고 사항
- 이 스크립트는 독립 실행형 바이너리로 제공됩니다.
- 자세한 내용은 공식 문서를 참조하세요.