Communitygithub.com

matt-riley/skill-evaluator

평가 기반 반복을 통해 AI 스킬을 자동화하는 CLI 도구: 스킬 적용 유무에 따라 실행하고, LLM 심사위원으로 평가하며, 결과를 벤치마킹합니다.

skill-evaluator란 무엇인가요?

이 스킬은 AI 에이전트(예: Claude Code, Cursor, Codex)를 위해 설계된 CLI 도구로, 평가 중심의 반복 작업을 자동화합니다. 개발자는 스킬을 적용한 버전과 적용하지 않은 버전을 각각 실행한 후, LLM 심사위원을 통해 결과를 평가하고 벤치마크할 수 있습니다. 이를 통해 AI 스킬의 성능을 체계적으로 비교하고 개선할 수 있으며, 주로 AI 어시스턴트의 행동을 미세 조정하거나 새로운 스킬을 개발할 때 유용합니다. CLI 환경에서 실행되며, 주요 AI 플랫폼과 호환되어 코드 리뷰, 문서 생성, 작업 자동화 등 다양한 시나리오에 적용할 수 있습니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add matt-riley/skill-evaluator

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

문서 어조 유지하기

이 스킬을 사용하여 저장소의 모든 문서가 일관되고 친근하며 열정적인 어조를 유지하도록 하세요.

이 스킬을 사용해야 하는 경우

  • 사용자가 문서의 .md 파일을 작성, 편집 또는 업데이트하도록 요청할 때
  • Astro 사이트에 새 페이지를 추가할 때
  • 사용자가 문서의 어조나 스타일을 검토해 달라고 요청할 때

이 스킬을 사용하지 말아야 하는 경우

  • 대화체 어조가 파싱 오류나 혼란을 초래할 수 있는 엄격한 기술 계약(예: OpenAPI 사양 또는 내부 JSON 스키마)을 편집할 때
  • 사용자가 특정 파일(예: 공식 법적 면책 조항)에 대해 공식적이고 건조하며 학술적인 어조를 명시적으로 요청할 때

첫 번째 단계

  1. references/tone-guidelines.md에 있는 정확한 어조 요구 사항과 예제를 읽으세요.
  2. 편집하려는 문서를 스캔하여 변경 사항이 주변 텍스트와 자연스럽게 조화를 이루는지 확인하세요.

작업 흐름

  1. 어조 가이드라인(열정적, 접근 가능, 이모지 친화적)을 초안에 적용하세요.
  2. 로봇 같거나 지나치게 기업적인 표현("이 애플리케이션은 초기화 시퀀스를 실행합니다")을 친근한 인간적인 표현("시작하는 것은 식은 죽 먹기예요! 다음 명령어를 실행하세요:")으로 바꾸세요.
  3. 서식은 최신 마크다운 기능(강조를 위한 굵게, 가독성을 위한 글머리 기호)을 사용하세요.

유효성 검사

  • 이모지 확인: 각 섹션에 품위 있고 관련성 있는 이모지가 하나 이상 있나요?
  • 어조 확인: 텍스트를 머릿속으로 소리 내어 읽어보세요. 친근한 개발자가 함께 페어링하는 것처럼 들리나요, 아니면 기업 매뉴얼처럼 들리나요? 후자라면 다시 작성하세요.

예시

  • "새 구성 플래그를 포함하도록 빠른 시작 가이드를 업데이트하세요." -> 새 단계가 열정적으로 작성되도록 이 스킬을 트리거합니다.
  • "Astro로 전환하기 위한 ADR을 작성하세요." -> ADR이 명확하면서도 여전히 접근 가능하도록 이 스킬을 트리거합니다.

관련 스킬