Community연구 & 데이터 분석github.com

sx4im/skillcheck

🧪 에이전트 스킬을 A/B 테스트하세요 — SKILL.md가 실제로 모델에 도움이 되는지, 아니면 단지 위약 효과인지 알아보세요. 맹검 평가 시험, 부트스트랩 신뢰 구간, 하나의 평결: HELPS / PLACEBO / HARMS. Claude Code, Codex, Gemini CLI 및 Cursor 스킬용.

skillcheck란 무엇인가요?

sx4im/skillcheck는 AI 에이전트 스킬의 효과를 과학적으로 평가하기 위한 도구입니다. 개발자가 작성한 SKILL.md 파일이 실제로 AI 모델의 성능 향상에 기여하는지, 아무런 영향을 미치지 않는 위약(placebo)인지, 아니면 오히려 성능을 저하시키는지(harm)를 A/B 테스트를 통해 객관적으로 판단합니다. 이 도구는 맹검 평가(blind-graded trial) 방식을 사용하여 평가자의 편향을 제거하고, 부트스트랩 신뢰 구간(bootstrap confidence intervals)을 통해 통계적 유의성을 확보합니다. Claude Code, Codex, Gemini CLI, Cursor 등 다양한 AI 에이전트 플랫폼에서 사용 가능하며, 스킬의 실제 가치를 검증하고 최적화하는 데 필수적인 도구입니다.

지원 대상✓Claude Code✓Codex CLI✓Cursor✓Gemini CLI
npx skills add sx4im/skillcheck

Installed? Explore more 연구 & 데이터 분석 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

skillcheck은(는) 무엇을 하나요?

🧪 에이전트 스킬을 A/B 테스트하세요 — SKILL.md가 실제로 모델에 도움이 되는지, 아니면 단지 위약 효과인지 알아보세요. 맹검 평가 시험, 부트스트랩 신뢰 구간, 하나의 평결: HELPS / PLACEBO / HARMS. Claude Code, Codex, Gemini CLI 및 Cursor 스킬용.

관련 스킬