스킬, 설치할 가치가 있나요?
한마디로: 스킬이 실제로 동작하는지, 아니면 예쁜 말만 늘어놓은 건지 판단합니다.
마켓에는 다운로드 수는 높지만 설치해도 아무것도 하지 않는 스킬이 많습니다. 파일에는 '위험 등급', '문턱 설정' 같은 템플릿 문구만 가득하거나, 작성자가 '작업 세부 사항은 추후 보완'이라고 적어놓기도 합니다. 보안 스캐너는 이들을 탐지하지 않습니다. 훔치지는 않지만 아무것도 하지 않기 때문입니다.
이 스킬은 바로 그 사실을 확인합니다.
언제 사용하나요?
- 마켓에서 어떤 스킬을 설치하려는데 망설여질 때 → 먼저 평가
- 설치했는데 효과가 없는 것 같아, 혹시 헛설치인지 궁금할 때 → 확인
- 스킬을 많이 설치해서 정리하고 싶을 때 → 전체 검사, 점수순 정렬
- 직접 스킬을 만들어서 다른 사람이 다운로드해도 실제로 사용할 수 있는지 확인할 때 → 자가 점검
사용 방법
pip install git+https://github.com/hsiu1214/skill-worth.git
(아직 PyPI에 올라가지 않았으므로 저장소에서 직접 설치)
아직 설치하지 않은 스킬 평가:
skill-worth check /path/to/some-skill
이미 설치된 모든 스킬 검사 (WorkBuddy / Claude Code / Codex 등 일반적인 디렉터리 자동 탐색):
skill-worth check
마켓 전체 상황도 함께 확인 (인기 스킬을 다운로드하여 실제로 테스트하며, 네트워크 필요):
skill-worth market --top 30
실행이 완료되면 현재 디렉터리에 skill-worth-report.html이 생성되며, 더블클릭으로 열 수 있습니다. --open 옵션을 추가하면 바로 열리고, --json out.json 옵션을 추가하면 원본 데이터를 저장합니다.
패키지를 설치하지 않고 소스 코드를 직접 실행할 수도 있습니다:
python -m skill_worth check /path/to/skill
결과 해석 방법
세 가지 등급:
| 등급 | 의미 | 어떻게 해야 하나요? |
|---|---|---|
| 설치할 가치 있음 (70점 이상) | 실행 가능한 것이 있고, 자신이 무엇을 하는지 잘 설명함 | 설치해서 사용 |
| 상황에 따라 다름 (40–69) | 빈 껍데기는 아니지만 단점이 있음 | 이 기능이 필요한지에 따라 결정; 만능이라고 기대하지는 마세요 |
| 설치 금지 (40점 미만) | 주장하는 기능에 대한 구현을 찾을 수 없음 | 설치하지 마세요; 이미 설치했다면 제거하세요 |
등급 외에도 한 줄 결론과 몇 가지 이유가 제공되며, 이유 뒤에는 '증거 보기'를 펼쳐서 실제 파일 수, 줄 수, 그리고 어떤 파일을 찾을 수 없는지 알 수 있습니다.
판단 기준
코드가 없다고 해서 쓸모없는 것은 아닙니다. 이것이 가장 쉽게 오판할 수 있는 부분이므로 따로 명확히 설명합니다:
- 지식형: 체크리스트, 작성 방법론, 진단 프로세스. 그 가치는 텍스트 자체에 있으며 코드가 필요하지 않습니다.
skill-vetter(14만 다운로드)는 140줄의 순수 문서이며, 완전히 정상입니다. - 실행형: 데이터 스크래핑, 엔진 실행, 배치 처리, API 호출을 선언합니다. 이런 유형에 코드가 없다면 빈 껍데기입니다.
구분이 어려울 때는 스킬이 자신을 어떻게 설명하는지 보세요: '판단 방법을 알려준다'고 하면 지식형, '데이터를 가져온다'고 하면 실행형입니다.
다섯 가지 차원, 가중치 합계 100점:
| 차원 | 가중치 | 확인 사항 |
|---|---|---|
| 실질 기능 | 40 | 실행 가능한 코드가 있는가? 순수 문서라면 단계/체크리스트/예제가 완전히 작성되었는가? |
| 주장 대비 실제 | 25 | 말과 행동이 일치하는가? 언급된 파일이 실제로 존재하는가? |
| 설명 명확성 | 15 | 한 문장으로 용도를 설명할 수 있는가? 트리거 단어가 너무 많지는 않은가? |
| 안전성 | 10 | 삭제, 동적 실행, 하드코딩된 키가 있는가? |
| 유지보수성 | 10 | 디렉터리 구조가 완전한가? 템플릿화된 빈말은 없는가? |
다음 중 하나라도 해당되면 총점과 관계없이 즉시 '설치 금지'로 판정:
- 작성자가 직접 '아직 구현되지 않음'이라고 명시한 경우
- 실행형 작업을 한다고 선언했지만 코드 파일이 하나도 없는 경우
- 코드 파일이 있지만
pass/TODO/ 빈 함수만 있는 경우
다음 조건은 경고만 하고 즉시 불합격 처리하지 않음: 문서에 언급된 도구 이름이 현재 호스트와 일치하지 않는 경우. 도구 이름은 호스트에 따라 달라지기 때문입니다. 예를 들어, 동일한 가져오기 기능이라도 한쪽에서는 WebFetch라고 부르고 다른 쪽에서는 web_fetch라고 부를 수 있습니다. 이것을 중대한 오류로 간주하면 크로스 플랫폼에서 오탐지를 유발할 수 있으므로, 이유에만 포함시켜 사용자가 확인하도록 알림니다.
실제 테스트 예시
| 스킬 | 결과 | 근거 |
|---|---|---|
multi-search-engine (204만 다운로드) | 설치 금지 | 16개 엔진을 선언했지만 스크립트가 전혀 없음 — 말과 행동이 일치하지 않음 |
summarize (4.6만 다운로드) | 설치 금지 | 2개 파일 총 3.5KB, 작성자가 '계획 사양에 의해 자동 생성되었으며 작업 세부 사항은 추후 보완'이라고 인정 |
skill-vetter (14만 다운로드) | 설치할 가치 있음 | 순수 문서이지만 4단계 검토 프로토콜 + 출력 형식 + 바로 실행 가능한 명령어가 있음 |
self-improving-agent (8.6만 다운로드) | 설치할 가치 있음 | 5개의 실제 코드 파일, hook은 메모리 주입만 수행, 외부 연결 전혀 없음 |
처음 두 스킬의 설치량 합계는 200만이 넘지만, 둘 다 빈 껍데기입니다. 다운로드 수와 품질은 거의 무관합니다.
2026년 10월에 실제 측정한 마켓 데이터 (설치량 ≥500인 인기 스킬 30개를 샘플링하여 28개 성공적으로 스캔):
- 24개 설치할 가치 있음, 1개 상황에 따라 다름, 3개 설치 금지 (11%)
- 이 28개의 총 설치량은 55만 2천 회이며, 그중 '설치 금지' 판정을 받은 3개의 설치량은 10만 5천 회를 차지
- 그 3개의 판정 이유는 한 글자도 다르지 않았으며, 모두 동일한 미러 동기화 배치에서 나온 것 — 동일한 템플릿으로 대량 생산된 것임
한계
- 정적 분석만 수행하며, 스캔 대상 코드를 실행하지 않습니다
- '코드가 올바르게 작성되었는지'는 판단할 수 없으며, '있는지'만 판단할 수 있습니다
- 용도 설명이 매우 짧지만 실제로는 유용한 스킬은 과소평가될 수 있습니다
- 반대로, 설명은 훌륭하지만 실제로 사용하기 어려운 스킬은 과대평가될 수 있습니다 — 이 도구는 '있는지'를 확인하는 것이지 '좋은지'를 확인하는 것이 아닙니다
개인정보 보호
보고서 생성 시 로컬 절대 경로와 내부 네임스페이스가 자동으로 제거되며, skillsDir은 마지막 두 경로만 표시됩니다. 다른 사람에게 직접 공유할 수 있습니다.