fredchu/skillify-skill

skillify-skill은(는) 무엇을 하나요?

Standalone fork of garrytan/gbrain skillify — 교차 LLM 평가를 제공하는 Claude Code 스킬 품질 감사 도구 (claude --print + codex CLI 기반 구독 청구). 11개 체크리스트 + Phase 0-7 + 5차원 점수 + sha-8 영수증 바인딩. macOS/Linux/Windows (Python 3.10+).

개요

이 스킬은 AI 에이전트 스킬의 품질을 체계적으로 감사하고 개선점을 제시합니다. 다음과 같은 주요 기능을 제공합니다:

• 11개 체크리스트 항목: 각 스킬이 최소한의 품질 기준을 충족하는지 확인 (예: 명확한 설명, 적절한 프롬프트, 오류 처리 등)
• Phase 0-7 단계별 평가: 스킬의 성숙도를 8단계로 평가 (0: 초안 → 7: 프로덕션 최적화)
• 5차원 점수 시스템: 정확성(Accuracy), 완전성(Completeness), 일관성(Consistency), 효율성(Efficiency), 확장성(Scalability)을 각각 0-10점으로 평가
• sha-8 영수증 바인딩: 각 평가 결과에 고유한 sha-8 해시를 생성하여 변경 추적 및 감사 가능
• 교차 LLM 평가: Claude, Codex 등 여러 LLM을 사용하여 동일한 스킬을 평가하고 결과 비교
• 구독 청구 통합: claude --print 및 codex CLI를 통한 사용량 기반 청구 지원

지원 플랫폼

• Claude Code
• Cursor
• Codex CLI
• 모든 OpenAI 호환 API

설치 및 사용법

필수 조건

• Python 3.10+
• pip 패키지 매니저
• (선택) Claude Code CLI
• (선택) Codex CLI

설치

pip install skillify-skill

기본 사용법

# 스킬 감사 실행
skillify audit ./path/to/skill

# 교차 LLM 평가 (Claude + Codex)
skillify cross-eval --llms claude,codex ./path/to/skill

# 결과를 sha-8 영수증과 함께 출력
skillify audit --receipt ./path/to/skill

스킬 파일 구조

감사 대상 스킬은 다음 구조를 따라야 합니다:

my-skill/
├── SKILL.md          # 스킬 설명 (필수)
├── prompt.md         # LLM 프롬프트 (필수)
├── examples/         # 예제 (선택)
├── tests/            # 테스트 (선택)
└── metadata.json     # 메타데이터 (선택)

체크리스트 (11개 항목)

각 스킬은 다음 11개 항목에 대해 통과/실패 평가를 받습니다:

#	항목	설명
1	명확한 설명	SKILL.md에 스킬의 목적이 명확히 기술됨
2	적절한 프롬프트	prompt.md가 구체적이고 실행 가능한 지시를 포함
3	오류 처리	주요 오류 시나리오에 대한 처리 로직 포함
4	입력 검증	사용자 입력에 대한 유효성 검사 포함
5	출력 형식	일관된 출력 형식 정의
6	의존성 관리	필요한 의존성 목록과 버전 명시
7	테스트 커버리지	최소 80% 이상의 테스트 커버리지
8	문서화	스킬 사용법과 예제 문서화
9	보안	민감한 정보 처리에 대한 보안 가이드라인
10	성능	주요 성능 병목에 대한 고려
11	확장성	다양한 입력 크기와 복잡도에 대한 대응

Phase 평가 (0-7)

각 스킬은 다음 8단계 중 하나로 평가됩니다:

• Phase 0: 아이디어(이)지만 구현되지 않음
• Phase 1: 기본 프롬프트만 존재
• Phase 2: SKILL.md가 작성됨
• Phase 3: 예제와 테스트가 포함됨
• Phase 4: 다중 LLM 호환성 확보
• Phase 5: 사용자 피드백 통합
• Phase 6: 지속적 통합(CI) 설정
• Phase 7: 프로덕션 최적화 및 모니터링

5차원 점수 시스템

각 차원은 0-10점으로 독립 평가되며, 총점은 50점 만점입니다:

차원	설명	가중치
정확성(Accuracy)	스킬의 출력이 얼마나 정확한지	1x
완전성(Completeness)	스킬이 모든 주요 사용 사례를 다루는지	1x
일관성(Consistency)	여러 실행에서 출력이 일관된지	1x
효율성(Efficiency)	토큰 소비와 응답 시간이 최적화되었는지	1x
확장성(Scalability)	다양한 입력 크기에서 성능이 유지되는지	1x

sha-8 영수증 바인딩

각 평가 실행은 고유한 sha-8 해시를 생성합니다. 이 해시는 다음 정보를 포함합니다:

• 스킬 디렉토리 구조의 해시
• 모든 점수와 평가 결과의 해시
• 타임스탬프

이를 통해 평가 결과의 무결성을 보장하고 변경 사항을 추적할 수 있습니다.

구독 청구

사용량 기반 청구는 다음 명령어를 통해 자동으로 처리됩니다:

# Claude Code 사용량 보고
claude --print

# Codex CLI 사용량 보고
codex --print

이 정보는 평가 실행 시 자동으로 수집되어 구독 사용량에 반영됩니다.

기여하기

버그 리포트, 기능 제안, 풀 리퀘스트는 GitHub 저장소에서 환영합니다.

라이선스

MIT License - 자세한 내용은 LICENSE 파일을 참조하세요.

원본 스킬

이 스킬은 garrytan/gbrain skillify의 독립 포크입니다. 원본 스킬의 크레딧은 garrytan에게 있습니다.