스킬 큐레이터 (Skill Curator) — 자기 진화 엔진은(는) 무엇을 하나요?
1. 개요
이것은 전체 스킬 컬렉션의 "메타 스킬"입니다. 직접 특정 작업을 수행하지 않고, 다른 모든 스킬을 더 좋게 만듭니다. 이 스킬은 Hermes Agent의 /curator 자기 학습 시스템과 연결되어 작업 실행 기록을 자동으로 분석하고, 스킬 생성/업데이트/폐기 제안을 생성하여 지속적인 개선의 선순환을 형성합니다.
작업 실행 → 기록 분석 → 개선점 발견 → 스킬 업데이트 → 다음에 더 나은 결과
↑ │
└────────────────────────────────────────────┘
자기 진화 선순환
2. 핵심 프로세스
2.1 4단계 큐레이션 프로세스
단계 1: 수집 (Collect)
├─ session_search에서 최근 완료된 복잡한 작업 획득
├─ 실행 중 어려운 지점 식별 (여러 번 재시도, 사용자 교정, 도구 호출 실패)
└─ 핵심 결정 지점 및 워크플로우 추출
단계 2: 분석 (Analyze)
├─ 기존 스킬 라이브러리와 비교: 이 워크플로우가 이미 어떤 스킬에 포함되어 있는가?
├─ 재사용 가치 평가: 다음에 유사한 작업을 만나면 이 워크플로우를 사용할 수 있는가?
├─ 스킬 사각지대 식별: 기존 스킬에 중요한 단계나 함정 경고가 누락되었는가?
└─ 개선 여유 정량화: 당시 이 스킬이 있었다면 얼마나 많은 시간/토큰을 절약할 수 있었을까?
단계 3: 제안 (Propose)
├─ 생성 제안: 완전히 새로운 워크플로우 → 새 스킬 생성 제안
├─ 업데이트 제안: 기존 스킬에 결함 → 패치 업데이트 제안
├─ 폐기 제안: 오래 사용되지 않은 스킬 → stale 표시 제안
└─ 병합 제안: 여러 스킬에 중복 → 병합 제안
단계 4: 실행 (Execute)
├─ skill_manage(action="create")로 새 스킬 생성
├─ skill_manage(action="patch")로 기존 스킬 업데이트
├─ /curator archive로 폐기 스킬 보관
└─ 업데이트된 스킬이 다음 유사 작업에서 유효한지 검증
2.2 스킬 품질 평가 매트릭스
| 차원 | 지표 | 건강 임계값 | 경고 임계값 |
|---|---|---|---|
| 사용 빈도 | 30일 내 호출 횟수 | ≥ 3회 | ≤ 1회 → stale 후보 |
| 성공률 | 스킬 사용 후 작업 성공 완료율 | ≥ 80% | ≤ 50% → 재작성 필요 |
| 사용자 만족도 | 스킬 실행 후 사용자 교정/불만 없음 | 0회 교정 | ≥ 2회 교정 → 품질 문제 |
| 시의성 | 마지막 업데이트 이후 경과 일수 | ≤ 90일 | ≥ 180일 → 검토 필요 |
| 명령 정확도 | 스킬 내 명령어가 여전히 유효한지 | 100% | 유효하지 않은 명령어 있음 → 즉시 업데이트 |
2.3 Hermes 명령 체계 통합
# 스킬 건강 상태 확인
/curator status
# 수동으로 큐레이션 검토 트리거
/curator run
# 특정 스킬 심층 분석
/curator review skill-name
# 우수 스킬 고정 (자동 보관 방지)
/curator pin skill-name
# 오래 사용되지 않은 스킬 보관
/curator archive skill-name
# Hermes 세션에서 최근 작업 직접 분석
session_search(query="recent complex tasks", limit=5)
2.4 자기 진화 부트스트래핑 메커니즘
이 스킬 자체도 진화 범위에 포함됩니다. 큐레이션 프로세스가 더 효과적인 분석 방법을 발견하면, 자신의 분석 로직을 업데이트합니다.
- 분석 패턴 축적: 높은 평가를 받은 작업에서 성공적인 분석 패턴 추출
- 오판 정정: 어떤 스킬이 잘못되어 stale로 표시되었지만 나중에 자주 사용되면 임계값 조정
- 도메인 적응: 프로젝트 유형(Web/ML/Infra)에 따라 다른 평가 가중치 사용
- 사용자 선호도 학습: 사용자가 새 스킬 생성과 기존 스킬 업데이트 중 어느 쪽을 선호하는지? 제안 경향 조정
2.5 정체성 인식
SOUL.md의 "자기 진화" 태도 읽기- 보수적인 사용자 → 더 신중한 제안, 자동 실행 빈도 낮춤
- 진보적인 사용자 → 더 적극적인 제안, 저위험 업데이트 자동 적용 허용
- 스킬 문서 스타일이 SOUL 페르소나를 따름
3. 관문 기준
- 분석 단계에서 최소 최근 완료된 작업 3개 확인
- 평가 매트릭스의 5가지 차원 모두 데이터 기반 (주관적 추측 없음)
- 제안에는 구체적인 개선 전후 비교 포함
- 새 스킬 생성 제안 시 기존 스킬과 중복되지 않는지 확인
- 기존 스킬 업데이트 제안 시 old_string / new_string 제공
- 모든 제안은 실행 전 사용자에게 표시되고 승인 받음
4. 일반적인 변명과 반박
| 변명 | 반박 |
|---|---|
| "작업이 끝났으면 됐지, 요약할 필요 없어" | 요약하지 않은 경험은 낭비된 수업료입니다. 오늘 2시간 걸려 해결한 문제가 내일은 5분이면 해결될 수도 있습니다. — 당시 요약했다면 말이죠. |
| "스킬이 충분히 잘 작동하는데, 최적화할 필요 없어" | 소프트웨어 세계는 변하고, API는 변하고, 모범 사례는 변합니다. 업데이트되지 않은 스킬은 퇴화하는 스킬입니다. |
| "큐레이션할 시간이 없어요" | 큐레이션은 지출이 아니라 투자입니다. 5분 큐레이션으로 앞으로 50분의 반복 노동을 절약할 수 있습니다. |
| "AI가 자동으로 스킬을 수정하면 안 돼요" | Hermes의 설계 철학은 '자기 진화'입니다. 하지만 모든 수정 사항은 먼저 사용자에게 보여지고, 최종 결정은 사용자가 내립니다. |
| "무엇을 스킬로 저장할 가치가 있는지 확신이 없어요" | 간단한 판단 기준: 같은 유형의 문제에서 2번 이상 막혀 본 적이 있다면, 그것은 스킬로 만들 가치가 있습니다. |