Community코딩 & 개발github.com

adewale/skill-eval-harness

에이전트 스킬 평가를 위한 하네스: 변형 쌍, 추적 아티팩트 및 실행기 어댑터 지원

skill-eval-harness란 무엇인가요?

이 스킬은 에이전트 리뷰어의 성능을 A/B 테스트할 수 있는 평가 하네스입니다. `adewale/skill-eval-harness`는 서로 다른 프롬프트 변형(ablations)을 정의하고, 각 변형이 생성한 추적 아티팩트(trace artifacts)를 수집하며, 여러 런타임(예: Claude Code, Cursor, Codex)에서 일관되게 실행될 수 있도록 실행기 어댑터(runner adapters)를 제공합니다. 개발자는 이 하네스를 사용하여 프롬프트 엔지니어링 변경이 에이전트의 코드 리뷰 품질에 미치는 영향을 정량적으로 측정할 수 있습니다. 주요 용도는 에이전트 스킬을 배포하기 전에 회귀(regression)를 방지하고, 새로운 프롬프트 기법의 효과를 검증하는 것입니다. 평가 결과는 구조화된 JSON 형식으로 출력되어 CI/CD 파이프라인에 통합될 수 있습니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add adewale/skill-eval-harness

Installed? Explore more 코딩 & 개발 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

데모 리뷰어

엔드 투 엔드 하네스를 시연하기 위해 의도적으로 아주 작게 만든 스킬입니다(구체화된 변형 포함). 아래 각 변형이 대상으로 하는 두 가지 중요 구성 요소, 즉 심각도 규칙과 체크리스트 참조가 있습니다.

심각도 규칙

각 발견 항목에 Blocking, Minor 또는 Clean 중 하나를 명시적으로 레이블로 지정합니다. 독자가 한눈에 분류할 수 있도록 레이블을 명확히 표기하십시오. 테스트 없이 배포되는 변경 사항은 최소한 Blocking입니다.

증거

각 발견 항목을 구체적인 증거로 뒷받침하고 공유 리뷰 체크리스트를 따르십시오: 리뷰 체크리스트를 참조하십시오.

관련 스킬