skill-comply: 자동 규정 준수 측정은(는) 무엇을 하나요?
코딩 에이전트가 스킬, 규칙 또는 에이전트 정의를 실제로 따르는지 측정합니다:
- 모든
.md파일에서 예상 행동 시퀀스(명세) 자동 생성 - 프롬프트 엄격성을 점진적으로 낮춘 시나리오 생성 (지원적 → 중립적 → 경쟁적)
claude -p실행 및 stream-json을 통한 도구 호출 추적 캡처- 정규식이 아닌 LLM을 사용하여 명세 단계에 대한 도구 호출 분류
- 시간적 순서 결정론적으로 확인
- 명세, 프롬프트, 타임라인이 포함된 자체 완비 보고서 생성
지원 대상
- 스킬(
skills/*/SKILL.md): search-first, TDD 가이드와 같은 워크플로 스킬 - 규칙(
rules/common/*.md): testing.md, security.md, git-workflow.md와 같은 필수 규칙 - 에이전트 정의(
agents/*.md): 에이전트가 예상될 때 호출되는지 여부 (내부 워크플로 검증은 아직 지원되지 않음)
활성화 시점
- 사용자가
/skill-comply <path>실행 - 사용자가 "이 규칙이 실제로 준수되고 있나요?"라고 질문할 때
- 새로운 규칙/스킬 추가 후 에이전트 준수 여부 확인
- 품질 유지보수의 일환으로 주기적으로
사용법
# 전체 실행
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# 드라이 런 (비용 없음, 명세 + 시나리오만 생성)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# 사용자 정의 모델
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
핵심 개념: 프롬프트 독립성
프롬프트가 명시적으로 지원하지 않더라도 스킬/규칙이 준수되는지 측정합니다.
보고서 내용
보고서는 자체 완비 형태로 다음을 포함합니다:
- 예상 행동 시퀀스 (자동 생성된 명세)
- 시나리오 프롬프트 (각 엄격성 수준에서 질문한 내용)
- 시나리오별 준수 점수
- LLM 분류 레이블이 포함된 도구 호출 타임라인
고급 (선택 사항)
훅에 익숙한 사용자를 위해 보고서에는 준수율이 낮은 단계에 대한 훅 권장 사항도 포함됩니다. 이는 정보 제공용이며, 주요 가치는 준수 가시성 자체에 있습니다.