스킬 선택기
작업에 가장 적합한 스킬을 선택합니다. 여기서 '선택'은 재사용, 적응, 구성, 또는 새로 구축을 의미할 수 있습니다.
핵심 아이디어
'최고의 스킬'은 스킬 자체의 속성이 아닙니다. 이는 스킬, 작업, 해당 작업이 실행될 런타임 환경, 그리고 결과가 충족해야 하는 품질 기준이라는 네 가지 항목 간의 관계입니다. 동일한 스킬도 한 작업에는 완벽하게 적합할 수 있지만 다른 작업에는 부담이 될 수 있습니다. 따라서 여기서 목표는 고정된 승자를 결정하는 것이 아니라, 결정과 선택된(또는 구축될) 스킬을 출력하는 반복 가능한 평가를 실행하는 것입니다.
끝까지 유지해야 할 두 가지 결과:
- 나쁜 스킬은 스킬이 없는 것보다 더 나쁩니다. 필요하지 않을 때 실행되고, 오래된 가정과 함정을 끌어들이며, 모델을 대상으로 한 지침을 포함할 수 있고, 작업이 처리되었다는 잘못된 확신을 만듭니다. 따라서 신뢰할 수 없는 소스의 채택 기준은 직관이 제안하는 것보다 더 높게 설정하고, 3단계의 신뢰 게이트를 절대 건너뛰지 마십시오.
- 설명이 아닌 증거를 기반으로 결정하십시오. 스킬의 설명은 마케팅입니다. 결정적인 신호는 실제 작업에서 어떻게 수행되는지(5단계)입니다.
0단계 — 이 작업에 스킬이 필요한가요?
가장 저렴한 확인부터 시작합니다. 작업이 일회성 또는 단순 작업인 경우 스킬 소싱을 건너뛰고 직접 작업을 수행하십시오. 스킬을 찾고, 검증하고, 연결하는 오버헤드가 작업 자체를 초과합니다. 스킬은 작업이 반복적이거나, 전문적(명확하지 않은 도메인 지식 필요)이거나, 함정이 많은(미묘하게 잘못되기 쉬운) 경우에만 그 가치를 발휘합니다. 해당 사항이 없으면 여기서 중단하고 작업을 직접 수행하십시오.
모드 — 사용자가 가중치를 선택합니다. 확대(escalation)는 동의가 필요합니다.
워크플로우는 깔때기 형태이며 대부분의 선택은 조기에 종료되어야 합니다. 세 가지 모드가 매핑됩니다:
| 모드 | 실행 내용 | ~토큰 | 선택하는 사용자 문구 |
|---|---|---|---|
| light (빠른 확인) | 원장 grep + match_local만 실행; 로컬 증거로 판결 | 2–5k | "快速看看" / "轻量" / "有没有现成的" / "quick check" |
| standard (표준, 기본값) | + 다중 소스 가져오기 + 신뢰 게이트 + 정적 비교 + 최종 후보 읽기 | 30–50k | — (아무 말도 없을 때 기본값) |
| thorough (철저한) | + 5단계 블라인드 실행 대회 (compare_run.workflow.js) | 150k–700k | "认真比" / "彻底对比" / "全面评测" / "thorough" |
참여 규칙:
- 명시적 모드를 존중하고 다시 묻지 마십시오. 요청에 이미 'quick' 또는 'thorough'이 명시되어 있다면 그게 답입니다.
- 초대받지 않고 thorough 계층에 진입하지 마십시오. standard 모드 증거로 최종 후보를 구분할 수 없으면 중단하고 비용을 첨부하여 질문하십시오(Claude Code의 AskUserQuestion 사용). 템플릿: "두 후보가 정적 증거로 동률입니다. A. 정적 증거를 기반으로 X 선택(추가 비용 0); B. 2개 사례 × 1회 대략 실행(~150k); C. 3개 사례 × 2회 완전 블라인드 평가(~600k)" — A 또는 B를 먼저 권장합니다.
- 헤드리스 / 비대화형 실행: 현재 계층에 머물고 "정적 증거 동률 — 실행 대회는 명시적 요청 필요"라고 보고한 후 중단하십시오. 아무도 동의할 수 없는 곳에서 자동으로 확대하지 마십시오.
- 축소(de-escalation)는 항상 무료입니다. 모든 모드에서 강력한 로컬 일치가 발견되면 전체 선택이 ~5k에서 종료됩니다. 모드는 최대값을 설정할 뿐 최소값을 설정하지 않습니다.
- 최종 보고서에 사용된 모드와 (많은 경우 대략적인) 토큰 소비량을 명시하십시오.
1단계 — 검색 전에 작업 정의
대부분의 "스킬을 결정할 수 없음" 문제는 실제로 "작업이 정의되지 않음" 문제입니다. 네 가지를 명확히 하고 기록하십시오:
- 입력 및 출력 — 무엇이 들어오고, 무엇이 나가야 하는지(형식, 정확한 구조).
- 성공 기준 — 어떻게 올바른지 알 수 있는지, 테스트할 수 있을 만큼 구체적으로.
- 빈도 — 한 번입니까, 반복적입니까? (0단계로 피드백됩니다.)
- 오류 비용 — 잘못되면 어떻게 됩니까? (품질 및 신뢰 기준의 높이를 설정합니다.)
이 네 가지는 서류 작업이 아닙니다. 이는 5단계의 테스트 사례와 3단계의 가중치가 됩니다. 이것들이 없으면 '최고'는 측정 불가능하고 어떤 선택도 임의적으로 느껴집니다.
2단계 — 후보 수집
'스킬 찾기'를 실제 후보 목록으로 전환합니다. 능력 및 I/O 유형으로 쿼리하십시오. 1단계 작업을 동사 + 명사 + 형식으로 다시 설명하고("PDF 양식 채우기", "xlsx에서 표 추출") 알려진 이름으로도 검색하십시오(능력 검색만으로는 고유 명사 스킬이 묻힙니다). 가장 저렴한 소스부터 가장 광범위한 소스 순으로 작업하십시오:
- 자신의 과거 결정(계층 −1, 가장 저렴함) —
grep -i <키워드> decisions.md(이 SKILL.md 옆). 이 작업이 이미 한 번 결정된 적이 있다면 스킬뿐만 아니라 결정을 재사용하십시오. 작업이나 환경이 변경된 경우에만 재평가하십시오. - 이미 로드된/로컬 스킬(먼저 확인, 여기에 답이 있는 경우가 많음) — 설치된 스킬 및 슬래시 명령어를
scripts/match_local.py "<능력>"으로 작업에 대해 순위를 매기십시오(기본적으로 ~/.claude/skills + ~/.claude/commands 스캔; 심볼릭 링크 설치를 따릅니다). 강력한 일치는 재사용/포크를 의미하며 외부로 나가지 마십시오. 직접 검색하려면scripts/inventory_skills.py <dir>이 모든 것을 원시 형태로 나열합니다. - 레지스트리, GitHub 및 카탈로그 —
scripts/fetch_candidates.py "<변형 1>" "<변형 2>" <알려진-이름> …을 실행하십시오. 항상 작성자가 스킬 이름을 지정하는 방식으로 2-4개의 쿼리 변형을 전달하십시오. 모든 실시간 소스는 어휘적입니다(어디에서도 의미론적 검색 없음, 확인됨). 따라서 하나의 표현은 최상위 후보를 놓칠 수 있습니다. 이 스크립트는 SkillsMP + agentskill.work + GitHub 코드 검색(gh가 인증된 경우 자동, SKILL.md 내용을 검색하는 유일한 경로)에 걸쳐 변형을 확장하고, 저장소 홍수를 축소하고, 쿼리 관련성과 별표 순으로 순위를 매기고, 각 리드를 정식 GitHub 소스(실제 별표 수)로 해결하고(레지스트리 별표는 종종 잘못됨 — 종종 ★0 복사본을 판매함), 샌드박스에 다운로드하고, 전체 텍스트에서 다시 순위를 매깁니다. 실시간 소스 환경에 대해서는 참조 파일을 참조하십시오. - 공개 웹 — 틈새 요구 사항의 경우
<능력> SKILL.md를 검색하십시오.
약간 넓은 그물을 던지십시오. 근접 일치 항목은 단순히 거절 대상이 아니라 포크/구성 재료입니다. 외부 환경에서 가져온 모든 항목은 점수 매기기 전에 신뢰 검토(3단계)를 거치십시오. 2~5개의 실제 후보를 목표로 하십시오. 그 이상은 결정이 아니라 리서치입니다. 맞는 항목이 없으면 구축을 가리키는 유효한 결과입니다.
자세한 소스 목록, 가져오기 명령 및 현재 레지스트리는 references/collecting-candidates.md에 있습니다.
3단계 — 후보 점수 매기기
아래 차원에서 모든 후보를 평가하십시오. 첫 번째는 하드 게이트입니다. 이 게이트를 통과하지 못하면 다른 곳에서 아무리 높은 점수를 받아도 거부됩니다.
- 신뢰 및 안전(게이트). 누가 작성했습니까? 전체 내용을 읽을 수 있습니까? 예상치 못한 네트워크에 도달하거나, 민감한 경로를 읽거나, 작업이 아닌 *당신(모델)*을 대상으로 하는 지침을 포함하는 등 해서는 안 되는 일을 합니까? 스킬은 실행 가능한 지침을 전달할 수 있으므로 이것은 협상 불가능합니다. 신뢰를 설정할 수 없으면 거부하십시오. 완벽하게 적합한 스킬이라도 마찬가지입니다. 자동화된 첫 번째 패스를 실행하십시오:
scripts/trust_scan.py <skill_dir>— 이는 위험한 호출, 네트워크/비밀 액세스, 정보 탈취 조합, 인젝션 문구, 그리고 빈/스텁 구현("스크립트가 있다" ≠ "스크립트가 실제로 무언가를 한다")을 플래그합니다. FAIL = 각각이 양성이라고 확인될 때까지 채택하지 마십시오. 그런 다음 스캐너가 할 수 없는 지각적 검사에 대해references/trust-and-safety-review.md를 읽으십시오. - 적합성/범위. 해피 패스뿐만 아니라 예외 사례를 포함하여 1단계 작업과 일치합니까?
- 암호화된 지식의 깊이. 명백한 내용을 다시 설명하는 얇은 래퍼입니까, 아니면 실제 함정, 환경 제약 조건 및 문제점을 포착합니까? 스킬의 가치는 해피 패스가 아니라 함정에 있습니다.
- 트리거 정확도. 스킬은 설명을 기반으로 활성화됩니다. 필요한 때에 실행되고 필요하지 않을 때는 조용히 유지됩니까? 과도 트리거와 미달 트리거 모두 실패입니다.
- 종속성 및 호환성. 무엇이 필요합니까(도구, 라이브러리, 서비스), 그리고 해당 항목이 환경에 있습니까?
- 구성 용이성. 단일 책임 원칙을 따르고 잘 작동합니까, 아니면 다른 스킬과 충돌할 정도로 광범위합니까?
- 유지 관리 및 출처. 유지 관리되고, 버전 관리되며, 신뢰할 수 있는 작성자가 있습니까, 아니면 오래되고 버려졌습니까?
- 테스트 가능성. 실행할 수 있는 예제 또는 평가가 함께 제공됩니까?
나란히 비교하려면 references/scoring-worksheet.md를 복사하여 작성하십시오(후보당 한 열). 두 가지 명백한 옵션 사이의 빠른 호출의 경우 이러한 차원에 대해 머릿속으로 점수를 매기는 것도 괜찮지만 신뢰 게이트는 절대 건너뛰지 마십시오.
4단계 — 결정: 재사용 / 포크 / 구성 / 구축
점수를 네 가지 결과 중 하나로 변환하십시오:
- 재사용 — 후보가 신뢰 게이트를 통과하고 적합성이 높습니다. 채택하고, 최대한 구성을 조정합니다.
- 포크 및 적응 — 후보가 부분적으로 적합하고(작업의 약 40-80%) 신뢰할 수 있습니다. 복사하여 수정하고, 처음부터 시작하지 마십시오.
- 구성 — 단일 후보가 전체 작업을 다루지 않지만 여러 신뢰할 수 있는 후보가 각각 일부를 다룹니다. 트리거 충돌에 주의하면서 결합하십시오(위의 구성 용이성 참조).
- 새로 구축 — 적합한 후보가 없거나, 유일한 적합한 후보가 신뢰 게이트를 통과하지 못합니다. 처음부터 구축하되, 가장 가까운 후보의 구조를 템플릿으로 채굴하십시오. 실제 구축은
skill-creator스킬에 맡기십시오.
비대칭성에 유의하십시오: 신뢰 게이트는 적합성이 높은 후보가 있더라도 구축으로 밀어넣을 수 있습니다. 신뢰할 수 없지만 편리한 것은 신뢰할 수 있지만 더 많은 작업이 필요한 것에 비해 손해입니다.
5단계 — 실행을 통한 검증 및 비교
서류상으로 최종 확정하지 마십시오. 1단계 사례에서 하나의 공유 테스트 세트를 구축하고 모든 생존 후보를 실행하십시오. 모든 후보에 대해 동일한 사례를 사용하고 성공 기준에 대해 각각을 판단하십시오. 이것이 실제로 결정하는 단계입니다. 설명 품질과 인기도는 단지 후보 목록을 얻는 데 도움이 되었을 뿐입니다.
먼저 비교를 위한 스캐폴드를 만드십시오: scripts/compare_candidates.py <candidates_dir>. 이는 결정론적으로 측정 가능한 모든 것을 나란히 벤치 카드로 집계합니다. 신뢰 판결, 실제 코드 대 빈 스텁 비율("스크립트가 있다"가 "스크립트가 작동한다"로 가장할 수 없도록), 종속성, 예제/평가 존재 여부, SKILL.md가 I/O를 선언하는지 여부, 그리고 형상 지문(섹션 골격 + 섹션별 cli/llm 성향, SKILL.md에서 읽어 로컬 및 원격 후보 간에 대칭을 유지) — 그리고 실행할 수 없는 실행 목록을 출력합니다. 스크립트가 LLM을 실행할 수는 없습니다. 이는 실제 실행을 구조화하여 폴더를 응시하는 대신 실행할 수 있게 합니다.
구조적 차이를 한눈에 확인하십시오: scripts/render_compare.py <candidates_dir> (또는 compare_candidates.py … --json을 파이프). 이는 벤치 카드를 하나의 HTML 페이지로 렌더링합니다. 상단에 결정급 비교 매트릭스, 그 다음 각 후보당 하나의 형상 지문 스트립(빨간색 = 명령/cli 단계, 회색 = 모델/llm 단계)이 있어 "이것은 7단계 CLI 파이프라인이고, 저것은 산문 전용"이라는 것을 각 SKILL.md를 읽지 않고도 볼 수 있습니다. 지문은 문서화 구조이지 검증된 실행 흐름이 아닙니다. 후보를 클릭하면 /skillviz 흐름도(소스가 있는 경우 /skillviz <name>을 통해 주문형 생성)로 드릴다운할 수 있습니다. 3개 이상의 후보를 비교하거나 형상 차이를 표 형식이 아닌 읽기 쉽게 만들고 싶을 때 사용하십시오.
- Claude Code(기본값): Workflow 도구를 통해
scripts/compare_run.workflow.js를 실행하십시오. candidates/cases/outDir을 인수로 전달하면 격리된 실행기와 블라인드 판정을 사용하여 모든 후보 × 사례 × 반복을 실행하고 통과 매트릭스 + 불안정 플래그를 반환합니다. 전체 벤치마크 보고서(HTML 뷰어, 토큰/지연 시간 통계)를 원하는 대안: 후보-=-구성 매핑을 통한 skill-creator의 하네스 — 정확한 단계 및 명명 함정은references/comparing-effectiveness.md에 있습니다. - 하위 에이전트가 없는 경우(Claude.ai): 후보를 한 번에 하나씩 실행하십시오. 각 SKILL.md를 읽고 각 사례를 완료하기 위해 따르고 후보별로 출력을 저장한 다음 나란히 비교하십시오.
정확성을 먼저 측정하십시오(기준을 충족합니까?). 그런 다음 일관성(사례를 2-3회 실행, 불안정한 것은 손해), 트리거링, 비용/지연 시간을 동점자 해결자로 측정하십시오. 커뮤니티 리더보드는 먼저 테스트할 대상을 알려줄 뿐, 승자를 결정하지는 않습니다. 한 번의 실제 실행이 설명을 열 번 읽는 것보다 낫습니다. 모든 것이 실패하면 구축이 정당화되고 새 스킬이 반드시 통과해야 하는 정확한 사례를 알려줍니다.
전체 프로토콜과 비교 매트릭스는 references/comparing-effectiveness.md에 있습니다.
6단계 — 결정 기록(경량)
decisions.md(이 SKILL.md 옆)에 한 줄을 추가하십시오: 날짜 · 작업 키워드 · 판결(재사용/포크/구성/구축 + 어떤 스킬) · 테스트 결과를 포함한 한 줄 이유. 2단계는 다른 곳을 검색하기 전에 이 원장을 grep하므로 추가하는 모든 줄이 다음 선택을 더 저렴하게 만듭니다. 많은 결정에 걸쳐 이것은 무엇이 무엇에 적합한지에 대한 기관 기억이 됩니다. 일회성 작업에 대해서만 건너뛰십시오.
출력
분석의 벽이 아닌 짧은 결정 보고서를 생성하십시오:
- 권장 사항: 재사용 / 포크 / 구성 / 구축 및 어떤 스킬.
- 모드: 실행된 계층(light / standard / thorough)과 무거운 경우 대략적인 비용.
- 이유: 결정한 2-3가지 차원(항상 신뢰 게이트 결과를 명시).
- 증거: 결정을 뒷받침하는 가장 강력한 증거 — 5단계 실행 결과가 있었다면 그것, 그렇지 않으면 정적 비교.
- 다음 단계: 설정할 구성, 수행할 적응, 또는
skill-creator로의 핸드오프.
빠른 참조
필요성 확인 → 작업 정의 → 후보 수집 → 점수 매기기(신뢰 게이트 우선) → 결정(재사용/포크/구성/구축) → 실행을 통한 검증 및 비교 → 기록.
decisions.md— 추가 전용 결정 원장; 다른 곳을 검색하기 전에 grep(계층 −1).scripts/match_local.py— 계층-0 우선: 설치된 스킬 + 슬래시 명령어를 작업에 대해 순위를 매깁니다(재사용 vs 외부 검색). 이중 언어 어휘 일치; 심볼릭 링크를 따릅니다.scripts/fetch_candidates.py— SkillsMP + agentskill.work + GitHub 코드 검색(인증된 gh)에 걸친 다중 변형 검색, 관련성 우선 순위, 정식 소스 해결, 샌드박스 다운로드, 전체 텍스트 재순위.scripts/compare_run.workflow.js— 5단계 Workflow 템플릿: 후보 × 사례 × 반복, 격리된 실행기 및 블라인드 판정 → 통과 매트릭스.scripts/trust_scan.py— 자동화된 3단계 신뢰 게이트: 채택 전에 위험한 호출 / 네트워크+비밀 탈취 / 인젝션 / 빈 스텁 구현을 플래그합니다.scripts/compare_candidates.py— 5단계 스캐폴드: 나란히 벤치 카드 + 형상 지문.scripts/render_compare.py— compare_candidates.py 출력에서 대화형 HTML 비교 페이지를 렌더링합니다(의사 결정 매트릭스 + 형상 지문 스트립 + /skillviz 드릴다운).scripts/inventory_skills.py <dir>— 주어진 디렉토리의 모든 스킬을 raw로 나열합니다.references/collecting-candidates.md— 실시간 소스의 세부 목록.references/trust-and-safety-review.md— 자동화된 스캐너가 포착할 수 없는 지각적 검사.references/scoring-worksheet.md— 3단계 나란히 비교 템플릿.references/comparing-effectiveness.md— 전체 5단계 실행 프로토콜.decisions.md— 이 SKILL.md 옆에 있는 원장; 결정 기록.