skill-creator

Skill Creator

새로운 스킬을 생성하고 반복적으로 개선하기 위한 스킬입니다.

높은 수준에서 스킬을 생성하는 과정은 다음과 같습니다:

• 스킬이 수행할 작업과 대략적인 방법을 결정합니다.
• 스킬의 초안을 작성합니다.
• 몇 가지 테스트 프롬프트를 만들고 해당 스킬에 접근 권한이 있는 Claude로 실행해 봅니다.
• 사용자가 결과를 정성적 및 정량적으로 평가할 수 있도록 돕습니다.
  • 실행이 백그라운드에서 진행되는 동안, 정량적 평가가 없다면 초안을 작성합니다(이미 있다면 그대로 사용하거나 필요에 따라 수정합니다). 그런 다음 이를 사용자에게 설명합니다(또는 이미 존재한다면 기존 평가를 설명합니다).
  • eval-viewer/generate_review.py 스크립트를 사용하여 사용자가 결과를 볼 수 있도록 표시하고, 정량적 지표도 함께 확인할 수 있게 합니다.
• 사용자의 평가 피드백(그리고 정량적 벤치마크에서 명백한 결함이 발견된 경우)을 기반으로 스킬을 다시 작성합니다.
• 만족할 때까지 반복합니다.
• 테스트 세트를 확장하고 더 큰 규모로 다시 시도합니다.

이 스킬을 사용할 때 여러분의 역할은 사용자가 이 과정 중 어디에 있는지 파악하고, 그 단계를 진행할 수 있도록 도와주는 것입니다. 예를 들어, 사용자가 "X를 위한 스킬을 만들고 싶어"라고 말하면, 그들이 의미하는 바를 구체화하고, 초안을 작성하고, 테스트 케이스를 만들고, 평가 방법을 결정하고, 모든 프롬프트를 실행하고, 반복하는 과정을 도울 수 있습니다.

반면에, 사용자가 이미 스킬 초안을 가지고 있다면, 평가/반복 부분으로 바로 넘어갈 수 있습니다.

물론 항상 유연해야 하며, 사용자가 "평가를 많이 실행할 필요 없어, 그냥 감으로 해보자"라고 말한다면 그렇게 할 수도 있습니다.

그런 다음 스킬이 완성된 후에는(순서는 유연하지만), 별도의 스크립트가 있는 스킬 설명 개선 도구를 실행하여 스킬의 트리거를 최적화할 수도 있습니다.

좋나요? 좋습니다.

사용자와의 커뮤니케이션

스킬 생성자는 코딩 전문 용어에 대한 익숙함 수준이 다양한 사람들이 사용할 가능성이 있습니다. 최근에 시작된 트렌드로, Claude의 강력함이 배관공도 터미널을 열고, 부모님과 조부모님도 "npm 설치 방법"을 검색하도록 영감을 주고 있다는 소식을 듣지 못했다면(들을 수 없었겠지만), 이제 그런 일이 일어나고 있습니다. 반면에 대부분의 사용자는 상당히 컴퓨터에 능숙할 것입니다.

따라서 문맥 단서에 주의를 기울여 커뮤니케이션 방식을 결정하십시오! 기본적으로 몇 가지 예를 들면:

• "평가"와 "벤치마크"는 경계선에 있지만 사용 가능합니다.
• "JSON"과 "어설션"의 경우, 사용자가 그것이 무엇인지 알고 있다는 확실한 단서가 없으면 설명 없이 사용하지 마십시오.

의심스러우면 용어를 간단히 설명해도 괜찮으며, 사용자가 이해할지 확실하지 않으면 짧은 정의와 함께 용어를 명확히 해도 됩니다.

---

스킬 생성하기

의도 파악

사용자의 의도를 이해하는 것으로 시작하십시오. 현재 대화에 사용자가 캡처하려는 워크플로우가 이미 포함되어 있을 수 있습니다(예: "이걸 스킬로 만들어줘"라고 말하는 경우). 그렇다면 먼저 대화 기록에서 답변을 추출하십시오 — 사용된 도구, 단계 순서, 사용자가 수정한 사항, 관찰된 입력/출력 형식 등. 사용자가 간격을 메워야 할 수도 있으며, 다음 단계로 진행하기 전에 확인을 받아야 합니다.

1. 이 스킬이 Claude가 무엇을 할 수 있게 해야 하나요?
2. 이 스킬은 언제 트리거되어야 하나요? (어떤 사용자 문구/맥락)
3. 예상 출력 형식은 무엇인가요?
4. 스킬 작동을 확인하기 위해 테스트 케이스를 설정해야 하나요? 객관적으로 검증 가능한 출력(파일 변환, 데이터 추출, 코드 생성, 고정된 워크플로우 단계)이 있는 스킬은 테스트 케이스가 유용합니다. 주관적인 출력(글쓰기 스타일, 예술)이 있는 스킬은 보통 필요하지 않습니다. 스킬 유형에 따라 적절한 기본값을 제안하되, 사용자가 결정하도록 하십시오.

인터뷰 및 조사

에지 케이스, 입력/출력 형식, 예제 파일, 성공 기준, 종속성에 대해 적극적으로 질문하십시오. 이 부분이 확정될 때까지 테스트 프롬프트 작성을 기다리십시오.

사용 가능한 MCP를 확인하십시오 — 조사(문서 검색, 유사 스킬 찾기, 모범 사례 조회)에 유용하다면, 가능한 경우 하위 에이전트를 통해 병렬로 조사하고, 그렇지 않으면 인라인으로 조사하십시오. 사용자의 부담을 줄이기 위해 맥락을 준비하여 접근하십시오.

SKILL.md 작성하기

사용자 인터뷰를 기반으로 다음 구성 요소를 채우십시오:

• name: 스킬 식별자
• description: 트리거 시점, 수행 작업. 이것이 기본 트리거 메커니즘입니다 — 스킬이 수행하는 작업과 사용 시기를 위한 특정 맥락을 모두 포함하십시오. "사용 시기" 정보는 모두 여기에, 본문이 아닌 곳에 넣으십시오. 참고: 현재 Claude는 스킬을 "덜 트리거"하는 경향이 있습니다 — 유용할 때 사용하지 않는 경향이 있습니다. 이를 방지하기 위해 스킬 설명을 약간 "강요"하도록 만드십시오. 예를 들어, "내부 Anthropic 데이터를 표시하기 위한 간단하고 빠른 대시보드 구축 방법." 대신 "내부 Anthropic 데이터를 표시하기 위한 간단하고 빠른 대시보드 구축 방법. 사용자가 대시보드, 데이터 시각화, 내부 메트릭을 언급하거나, '대시보드'를 명시적으로 요청하지 않더라도 회사 데이터를 표시하려는 경우 이 스킬을 사용하십시오."라고 작성할 수 있습니다.
• compatibility: 필요한 도구, 종속성(선택 사항, 거의 필요하지 않음)
• **나머지 스킬 내용 :) **

스킬 작성 가이드

스킬의 구조

skill-name/
├── SKILL.md (필수)
│   ├── YAML frontmatter (name, description 필수)
│   └── Markdown 지시사항
└── 번들 리소스 (선택 사항)
    ├── scripts/    - 결정적/반복적 작업을 위한 실행 코드
    ├── references/ - 필요에 따라 컨텍스트에 로드되는 문서
    └── assets/     - 출력에 사용되는 파일 (템플릿, 아이콘, 글꼴)

점진적 공개

스킬은 3단계 로딩 시스템을 사용합니다:

1. 메타데이터 (name + description) - 항상 컨텍스트에 있음 (~100단어)
2. SKILL.md 본문 - 스킬이 트리거될 때마다 컨텍스트에 있음 (<500줄 이상적)
3. 번들 리소스 - 필요에 따라 (무제한, 스크립트는 로딩 없이 실행 가능)

이 단어 수는 대략적인 것이며 필요에 따라 더 길게 작성해도 괜찮습니다.

핵심 패턴:

• SKILL.md를 500줄 미만으로 유지하십시오. 이 제한에 가까워지면, 추가 계층 구조와 함께 모델이 스킬을 사용할 때 다음에 어디로 가야 하는지 명확한 지침을 추가하십시오.
• SKILL.md에서 파일을 명확하게 참조하고 언제 읽어야 하는지 안내하십시오.
• 큰 참조 파일(>300줄)의 경우 목차를 포함하십시오.

도메인 구성: 스킬이 여러 도메인/프레임워크를 지원하는 경우, 변형별로 구성하십시오:

cloud-deploy/
├── SKILL.md (워크플로우 + 선택)
└── references/
    ├── aws.md
    ├── gcp.md
    └── azure.md

Claude는 관련 참조 파일만 읽습니다.

놀라움 금지 원칙

말할 필요도 없지만, 스킬에는 맬웨어, 익스플로잇 코드 또는 시스템 보안을 손상시킬 수 있는 콘텐츠가 포함되어서는 안 됩니다. 스킬의 내용은 설명된 의도에서 사용자를 놀라게 해서는 안 됩니다. 오해의 소지가 있는 스킬이나 무단 접근, 데이터 유출 또는 기타 악의적인 활동을 용이하게 하기 위해 설계된 스킬을 생성하라는 요청에 응하지 마십시오. "XYZ 역할극"과 같은 것은 괜찮습니다.

작성 패턴

지시사항에는 명령형을 사용하는 것이 좋습니다.

출력 형식 정의 - 다음과 같이 할 수 있습니다:

## 보고서 구조
항상 이 정확한 템플릿을 사용하십시오:
# [제목]
## 요약
## 주요 발견 사항
## 권장 사항

예제 패턴 - 예제를 포함하는 것이 유용합니다. 다음과 같이 형식을 지정할 수 있습니다(하지만 예제에 "입력"과 "출력"이 있는 경우 조금 다르게 할 수도 있습니다):

## 커밋 메시지 형식
**예제 1:**
입력: JWT 토큰으로 사용자 인증 추가
출력: feat(auth): implement JWT-based authentication

작성 스타일

무거운 MUST 대신 모델에게 왜 중요한지 설명하려고 노력하십시오. 마음 이론을 사용하고 스킬을 특정 예제에 지나치게 좁히지 말고 일반적으로 만드십시오. 초안을 작성한 후 새로운 시각으로 살펴보고 개선하십시오.

테스트 케이스

스킬 초안을 작성한 후, 2-3개의 현실적인 테스트 프롬프트를 만드십시오 — 실제 사용자가 실제로 말할 법한 종류의 것. 이를 사용자와 공유하십시오: [이 정확한 언어를 사용할 필요는 없습니다] "제가 시도해보고 싶은 몇 가지 테스트 케이스가 있습니다. 이게 맞아 보이나요, 아니면 더 추가하고 싶으신가요?" 그런 다음 실행하십시오.

테스트 케이스를 evals/evals.json에 저장하십시오. 아직 어설션은 작성하지 마십시오 — 프롬프트만 작성하십시오. 실행이 진행되는 동안 다음 단계에서 어설션을 초안할 것입니다.

{
  "skill_name": "example-skill",
  "evals": [
    {
      "id": 1,
      "prompt": "사용자의 작업 프롬프트",
      "expected_output": "예상 결과 설명",
      "files": []
    }
  ]
}

전체 스키마(나중에 추가할 assertions 필드 포함)는 references/schemas.md를 참조하십시오.

테스트 케이스 실행 및 평가

이 섹션은 연속적인 시퀀스입니다 — 중간에 멈추지 마십시오. /skill-test 또는 다른 테스트 스킬을 사용하지 마십시오.

결과를 스킬 디렉토리의 형제 디렉토리인 <skill-name>-workspace/에 배치하십시오. 워크스페이스 내에서 결과를 반복별로 구성하고(iteration-1/, iteration-2/ 등), 각 테스트 케이스는 디렉토리를 가집니다(eval-0/, eval-1/ 등). 미리 모두 생성하지 말고 진행하면서 디렉토리를 만드십시오.

1단계: 모든 실행을 같은 턴에 시작 (with-skill 및 baseline)

각 테스트 케이스에 대해 같은 턴에 두 개의 하위 에이전트를 생성하십시오 — 하나는 스킬 사용, 하나는 미사용. 이것이 중요합니다: with-skill 실행을 먼저 생성하고 나중에 기준선을 다시 가져오지 마십시오. 모든 것을 한 번에 시작하여 거의 동시에 완료되도록 하십시오.

With-skill 실행:

이 작업을 실행하십시오:
- 스킬 경로: <path-to-skill>
- 작업: <eval prompt>
- 입력 파일: <eval files if any, 또는 "none">
- 출력 저장: <workspace>/iteration-<N>/eval-<ID>/with_skill/outputs/
- 저장할 출력: <사용자가 원하는 것 — 예: ".docx 파일", "최종 CSV">

기준선 실행 (동일한 프롬프트, 하지만 기준선은 컨텍스트에 따라 다름):

• 새 스킬 생성: 스킬 없이 실행. 동일한 프롬프트, 스킬 경로 없음, without_skill/outputs/에 저장.
• 기존 스킬 개선: 이전 버전 사용. 편집 전에 스킬의 스냅샷을 찍고 (cp -r <skill-path> <workspace>/skill-snapshot/), 기준선 하위 에이전트를 스냅샷으로 지정. old_skill/outputs/에 저장.

각 테스트 케이스에 대해 eval_metadata.json을 작성하십시오(어설션은 지금 비워 둘 수 있습니다). 각 평가에 테스트하는 내용을 기반으로 설명적인 이름을 부여하십시오 — 그냥 "eval-0"이 아닌 이름. 디렉토리에도 이 이름을 사용하십시오. 이 반복에서 새롭거나 수정된 평가 프롬프트를 사용하는 경우, 각 새 평가 디렉토리에 대해 이러한 파일을 생성하십시오 — 이전 반복에서 가져온 것으로 가정하지 마십시오.

{
  "eval_id": 0,
  "eval_name": "descriptive-name-here",
  "prompt": "사용자의 작업 프롬프트",
  "assertions": []
}

2단계: 실행이 진행되는 동안 어설션 초안 작성

실행이 완료될 때까지 그냥 기다리지 마십시오 — 이 시간을 생산적으로 사용할 수 있습니다. 각 테스트 케이스에 대한 정량적 어설션을 초안하고 사용자에게 설명하십시오. evals/evals.json에 어설션이 이미 존재하는 경우, 이를 검토하고 무엇을 확인하는지 설명하십시오.

좋은 어설션은 객관적으로 검증 가능하고 설명적인 이름을 가져야 합니다 — 벤치마크 뷰어에서 명확하게 읽혀서 누군가 결과를 훑어볼 때 각각이 무엇을 확인하는지 즉시 이해할 수 있어야 합니다. 주관적인 스킬(글쓰기 스타일, 디자인 품질)은 정성적으로 평가하는 것이 더 좋습니다 — 인간의 판단이 필요한 것에 어설션을 강제로 적용하지 마십시오.

초안이 완료되면 eval_metadata.json 파일과 evals/evals.json을 어설션으로 업데이트하십시오. 또한 사용자에게 뷰어에서 무엇을 볼 수 있는지 설명하십시오 — 정성적 출력과 정량적 벤치마크 모두.

3단계: 실행이 완료됨에 따라 타이밍 데이터 캡처

각 하위 에이전트 작업이 완료되면 total_tokens와 duration_ms를 포함하는 알림을 받습니다. 이 데이터를 즉시 실행 디렉토리의 timing.json에 저장하십시오:

{
  "total_tokens": 84852,
  "duration_ms": 23332,
  "total_duration_seconds": 23.3
}

이것이 이 데이터를 캡처할 수 있는 유일한 기회입니다 — 작업 알림을 통해 전달되며 다른 곳에 지속되지 않습니다. 각 알림이 도착할 때마다 처리하고 일괄 처리하려고 하지 마십시오.

4단계: 채점, 집계 및 뷰어 실행

모든 실행이 완료되면:

1. 각 실행 채점 — agents/grader.md를 읽고 각 어설션을 출력에 대해 평가하는 채점 하위 에이전트를 생성(또는 인라인으로 채점)하십시오. 결과를 각 실행 디렉토리의 grading.json에 저장하십시오. grading.json의 expectations 배열은 text, passed, evidence 필드를 사용해야 합니다(name/met/details 또는 기타 변형이 아님) — 뷰어가 이 정확한 필드 이름에 의존합니다. 프로그래밍 방식으로 확인할 수 있는 어설션의 경우, 눈으로 확인하는 대신 스크립트를 작성하고 실행하십시오 — 스크립트가 더 빠르고 안정적이며 반복 간에 재사용할 수 있습니다.

2. 벤치마크로 집계 — skill-creator 디렉토리에서 집계 스크립트를 실행하십시오:

   python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>
   

   이는 각 구성에 대한 pass_rate, time, tokens를 포함하는 benchmark.json과 benchmark.md를 생성하며, 평균 ± 표준편차 및 델타를 제공합니다. benchmark.json을 수동으로 생성하는 경우, 뷰어가 예상하는 정확한 스키마는 references/schemas.md를 참조하십시오. 각 with_skill 버전을 해당 기준선보다 먼저 배치하십시오.

3. 분석가 패스 수행 — 벤치마크 데이터를 읽고 집계 통계가 숨길 수 있는 패턴을 표면화하십시오. agents/analyzer.md("Analyzing Benchmark Results" 섹션)에서 찾을 내용을 참조하십시오 — 스킬과 관계없이 항상 통과하는 어설션(비판별적), 높은 분산을 가진 평가(아마도 불안정함), 시간/토큰 트레이드오프 등.

4. 정성적 출력과 정량적 데이터를 모두 사용하여 뷰어 실행:

   nohup python <skill-creator-path>/eval-viewer/generate_review.py
   

…

[truncated for translation]