autotune-skill은(는) 무엇을 하나요?
평가 우선 방식의 튜닝 스킬로, 프롬프트, 문서, 스킬, 코드를 가드, 홀드아웃, 중지 규칙과 함께 최적화합니다.
개요
이 스킬은 주어진 입력(프롬프트, 문서, 스킬, 코드)을 평가 메트릭 기반으로 반복 개선합니다.
기능
- 평가 중심: 사전 정의된 평가 함수로 각 반복의 품질을 측정합니다.
- 가드: 위험하거나 바람직하지 않은 출력을 방지합니다.
- 홀드아웃: 일부 데이터를 분리하여 과적합을 방지합니다.
- 중지 규칙: 성능이 정체되거나 목표에 도달하면 튜닝을 자동 중단합니다.
사용 방법
- 튜닝할 대상(프롬프트, 문서, 스킬, 코드)을 준비합니다.
- 평가 함수와 가드, 홀드아웃 비율, 중지 조건을 설정합니다.
autotune명령을 실행하여 최적화를 시작합니다.
구성 예시
eval:
metric: accuracy
threshold: 0.95
guards:
- profanity
- toxicity
holdout:
ratio: 0.2
stop_rules:
max_iterations: 50
improvement_threshold: 0.001
지원 플랫폼
- Claude Code
- Cursor
- Codex
라이선스
MIT