skill-comply: 자동화된 컴플라이언스 측정은(는) 무엇을 하나요?
코딩 에이전트가 스킬, 규칙 또는 에이전트 정의를 실제로 따르는지 측정합니다:
- 모든 .md 파일에서 예상 행동 시퀀스(사양) 자동 생성
- 프롬프트 엄격도가 감소하는 시나리오 자동 생성 (지원형 → 중립형 → 경쟁형)
claude -p실행 및 stream-json을 통한 툴 호출 추적 수집- LLM을 사용한 툴 호출 분류 (정규식 아님)
- 시간적 순서 결정적으로 확인
- 사양, 프롬프트, 타임라인이 포함된 자체 완결형 보고서 생성
지원 대상
- 스킬 (
skills/*/SKILL.md): search-first, TDD 가이드 등의 워크플로우 스킬 - 규칙 (
rules/common/*.md): testing.md, security.md, git-workflow.md 등의 필수 규칙 - 에이전트 정의 (
agents/*.md): 예상 시점에 에이전트가 호출되는지 여부 (내부 워크플로우 검증은 아직 지원되지 않음)
활성화 시점
- 사용자가
/skill-comply <path>실행 - 사용자가 "이 규칙이 실제로 준수되고 있나요?"라고 질문
- 새 규칙/스킬 추가 후 에이전트 컴플라이언스 확인
- 품질 유지 관리를 위한 정기적 점검
사용법
# 전체 실행
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# 드라이 런 (비용 없음, 사양 + 시나리오만 생성)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# 커스텀 모델
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
핵심 개념: 프롬프트 독립성
프롬프트가 명시적으로 지원하지 않는 상황에서도 스킬/규칙이 준수되는지 측정합니다.
보고서 내용
보고서는 자체 완결형이며 다음을 포함합니다:
- 예상 행동 시퀀스 (자동 생성된 사양)
- 시나리오 프롬프트 (각 엄격도 수준에서 요청된 내용)
- 시나리오별 컴플라이언스 점수
- LLM 분류 레이블이 포함된 툴 호출 타임라인
고급 (선택 사항)
후크에 익숙한 사용자를 위해, 보고서에는 컴플라이언스가 낮은 단계에 대한 후크 프로모션 권장 사항도 포함됩니다. 이는 정보 제공용입니다 — 주요 가치는 컴플라이언스 가시성 자체입니다.