SkillBench은(는) 무엇을 하나요?
SkillBench는 평가 케이스 생성, 심사 전용/전체 에이전트 채점, 추적 가능한 대시보드, CI 게이트 및 스킬 문서 개선을 위한 GEPA 스타일 피드백 루프를 통해 Codex 스킬을 평가하고 진화시키는 오픈소스 프레임워크입니다.
개요
SkillBench는 Codex 에이전트용 스킬의 품질을 체계적으로 평가하고 지속적으로 개선하기 위한 도구입니다. 주요 기능은 다음과 같습니다:
- 평가 케이스 생성: 스킬의 입력과 기대 출력을 자동으로 생성하여 테스트 범위를 넓힙니다.
- 이중 채점 모드: 심사 전용(judge-only) 모드와 전체 에이전트(full-agent) 모드 중 선택하여 평가의 깊이와 속도를 조절할 수 있습니다.
- 추적 가능한 대시보드: 평가 결과를 시각화하고 기록하여 스킬의 변화를 추적합니다.
- CI 게이트: CI/CD 파이프라인에 품질 게이트를 설정하여 기준 미달 스킬의 배포를 차단합니다.
- GEPA 피드백 루프: 평가 결과를 바탕으로 스킬 문서를 자동으로 개선합니다.
사용 방법
설치
npm install -g skillbench
기본 사용법
skillbench evaluate --skill ./my-skill --cases ./cases
평가 케이스 생성
skillbench generate --skill ./my-skill --output ./cases
대시보드 실행
skillbench dashboard --port 3000
환경 변수
| 변수명 | 설명 | 기본값 |
|---|---|---|
SKILLBENCH_API_KEY | API 인증 키 | 없음 |
SKILLBENCH_LOG_LEVEL | 로그 레벨 (debug, info, warn, error) | info |
SKILLBENCH_OUTPUT_DIR | 평가 결과 출력 디렉토리 | ./reports |
예제
다음은 간단한 평가 케이스 예제입니다:
- name: "기본 인사 테스트"
input: "안녕하세요"
expected:
contains: ["안녕하세요", "반갑습니다"]
라이선스
MIT