Community코딩 & 개발github.com

helloJamest/SkillBench

SkillBench는 평가 케이스 생성, 심사 전용/전체 에이전트 채점, 추적 가능한 대시보드, CI 게이트 및 스킬 문서 개선을 위한 GEPA 스타일 피드백 루프를 통해 Codex 스킬을 평가하고 진화시키는 오픈소스 프레임워크입니다.

SkillBench란 무엇인가요?

SkillBench는 Codex 에이전트 스킬의 품질을 체계적으로 평가하고 지속적으로 개선하기 위한 오픈소스 프레임워크입니다. 개발자는 이 프레임워크를 통해 스킬의 동작을 검증하는 평가 케이스를 자동 생성하고, 심사 전용 또는 전체 에이전트 기반 채점 방식을 사용하여 스킬의 성능을 객관적으로 측정할 수 있습니다. 또한, 추적 가능한 대시보드를 통해 평가 결과를 시각화하고 CI/CD 파이프라인에 게이트를 설정하여 스킬의 품질 기준을 강제할 수 있습니다. GEPA(Generate, Evaluate, Propose, Adapt) 스타일의 피드백 루프를 통해 스킬 문서를 자동으로 개선하여 스킬의 지속적인 진화를 지원합니다. 이 프레임워크는 Codex 에이전트와 함께 사용되며, 커스텀 채점기를 통합하여 평가 기준을 유연하게 정의할 수 있는 구조를 제공합니다.

지원 대상~Claude Code✓Codex CLI~Cursor
npx skills add helloJamest/SkillBench

Installed? Explore more 코딩 & 개발 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

SkillBench은(는) 무엇을 하나요?

SkillBench는 평가 케이스 생성, 심사 전용/전체 에이전트 채점, 추적 가능한 대시보드, CI 게이트 및 스킬 문서 개선을 위한 GEPA 스타일 피드백 루프를 통해 Codex 스킬을 평가하고 진화시키는 오픈소스 프레임워크입니다.

개요

SkillBench는 Codex 에이전트용 스킬의 품질을 체계적으로 평가하고 지속적으로 개선하기 위한 도구입니다. 주요 기능은 다음과 같습니다:

  • 평가 케이스 생성: 스킬의 입력과 기대 출력을 자동으로 생성하여 테스트 범위를 넓힙니다.
  • 이중 채점 모드: 심사 전용(judge-only) 모드와 전체 에이전트(full-agent) 모드 중 선택하여 평가의 깊이와 속도를 조절할 수 있습니다.
  • 추적 가능한 대시보드: 평가 결과를 시각화하고 기록하여 스킬의 변화를 추적합니다.
  • CI 게이트: CI/CD 파이프라인에 품질 게이트를 설정하여 기준 미달 스킬의 배포를 차단합니다.
  • GEPA 피드백 루프: 평가 결과를 바탕으로 스킬 문서를 자동으로 개선합니다.

사용 방법

설치

npm install -g skillbench

기본 사용법

skillbench evaluate --skill ./my-skill --cases ./cases

평가 케이스 생성

skillbench generate --skill ./my-skill --output ./cases

대시보드 실행

skillbench dashboard --port 3000

환경 변수

변수명설명기본값
SKILLBENCH_API_KEYAPI 인증 키없음
SKILLBENCH_LOG_LEVEL로그 레벨 (debug, info, warn, error)info
SKILLBENCH_OUTPUT_DIR평가 결과 출력 디렉토리./reports

예제

다음은 간단한 평가 케이스 예제입니다:

- name: "기본 인사 테스트"
  input: "안녕하세요"
  expected:
    contains: ["안녕하세요", "반갑습니다"]

라이선스

MIT

관련 스킬