harness-eval-lab은(는) 무엇을 하나요?
AI 코드 에이전트 구성을 평가합니다. 전체 구성(CLAUDE.md, skills, commands, hooks, agents)에 점수를 매깁니다. CLI 및 Claude Code 플러그인으로 사용 가능합니다.
개요
harness-eval-lab은 AI 코드 에이전트 설정의 품질과 일관성을 평가하기 위한 도구입니다. 이 도구는 다음 구성 요소를 분석하고 점수를 부여합니다:
- CLAUDE.md: 에이전트의 행동과 규칙을 정의하는 파일
- Skills: 에이전트가 사용할 수 있는 특화된 능력
- Commands: 에이전트에 등록된 명령어
- Hooks: 특정 이벤트에서 실행되는 스크립트
- Agents: 협업 에이전트 정의
설치
# npm을 통한 설치
npm install -g @redhat-community-ai-tools/harness-eval-lab
# 또는 소스에서 빌드
git clone https://github.com/redhat-community-ai-tools/harness-eval-lab.git
cd harness-eval-lab
npm install
npm run build
사용법
CLI로 사용
# 현재 디렉토리 평가
harness-eval-lab
# 특정 경로 평가
harness-eval-lab --path /path/to/project
# 자세한 결과 출력
harness-eval-lab --verbose
Claude Code 플러그인으로 사용
Claude Code 구성에 다음을 추가하세요:
{
"plugins": [
{
"name": "harness-eval-lab",
"path": "/path/to/harness-eval-lab"
}
]
}
평가 기준
| 항목 | 설명 | 가중치 |
|---|---|---|
| CLAUDE.md | 에이전트 지침의 존재 여부와 품질 | 30% |
| Skills | 등록된 스킬의 다양성과 유용성 | 25% |
| Commands | 명령어의 완전성과 문서화 | 20% |
| Hooks | 훅의 적절한 사용과 구성 | 15% |
| Agents | 에이전트 정의의 명확성 | 10% |
점수 해석
- 90-100: 우수한 구성. 에이전트가 최적으로 동작합니다.
- 70-89: 양호하지만 개선 여지가 있습니다.
- 50-69: 기본적인 구성은 있으나 중요 요소가 누락되었습니다.
- 0-49: 구성이 부족하거나 존재하지 않습니다.
라이선스
Apache-2.0
기여
버그 리포트, 기능 제안, 풀 리퀘스트는 GitHub 저장소를 통해 환영합니다.