능력 감가상각표 (skill-auditor)
모델이 업데이트될 때, 설치된 스킬/플러그인은 오류를 발생시키지 않고 조용히 성능이 나빠집니다. 이 스킬은 '성능 저하'를 측정 가능한 숫자로 바꿔줍니다.
세 가지 판단과 각각의 근거
| 사용자의 질문 | 판단 방법 | 핵심 전제 조건 |
|---|---|---|
| 능력이 퇴화되었나요? | 동일한 golden set을 새 모델에서 재실행, 통과율 감소폭 ≥20pp 및 방향 일치 | 지문이 변하지 않아야 합니다. 지문이 변했다면 '수정됨'이지 '퇴화'가 아닙니다 |
| 새 스킬/플러그인이 좋은가요? | 소거 대조(있음/없음) + 채택률, 순이익 계산 | 대조군이 없으면 '느낌이 좋다'만 있을 뿐입니다 |
| 나에게 맞는가요? | 트리거 정밀도(트리거되어야 할 때 트리거되고, 트리거되지 말아야 할 때 트리거되지 않음) + 환경 대조 + 스타일 기준 | 상상이 아닌 실제 과거 프롬프트를 사용합니다 |
조정 방법
플러그인에서 도구를 등록한 경우, 도구를 직접 사용하는 것이 첫 번째 선택입니다:
skill_audit_status— 감가상태표: 지문 / 베이스라인 통과율 / risk / 판정skill_audit_recommend— 강력 / 관찰 / 미검증 / 성능 저하 / 선택적 정리, 다섯 단계skill_audit_check— 현재 모델이 이전 회귀 베이스라인과 비교하여 변경되었는지 확인skill_audit_scan— 새로운 것을 설치한 후 자산 재발견skill_audit_suggest— 사용자의 요구를 충족하는 자산이 없을 때 무엇을 추가해야 하는지 제안
도구가 없는 경우(예: 스킬만 설치된 호스트), CLI 사용:
python <data-dir>/scripts/console.py --host deepseek status
python <data-dir>/scripts/console.py --host deepseek recommend
python <data-dir>/scripts/console.py --host workbuddy status --root ~/.workbuddy-ai/skills
<data-dir> 기본값은 ~/.dsh/skill-auditor (SKILL_AUDITOR_HOME으로 덮어쓰기 가능). 엔진은 순수 표준 라이브러리 Python 3.8+이며, 타사 종속성이 없습니다.
사용 가능한 스킬/플러그인이 없는 경우
이는 이 스킬의 능동적 메커니즘입니다. 사용자가 묻기를 기다리지 마십시오:
- 먼저 설치된 등록 테이블을 확인하십시오 — 이미 커버하는 것이 있으면 새로 추가를 권장하지 않습니다 (중복 설치 방지).
- 실제로 없는 경우 →
skill_audit_suggest --need "<한 줄 요약 요구사항>" - 출력은 '새로 추가 권장 + 검색어', 설치는 사용자가 확인하며 자동 설치하지 않습니다.
하드 경계 (그대로 말해야 하며, 결론으로 포장하지 마십시오)
- K=1의 베이스라인은 자기 평가일 뿐, 통계적 결론이 아닙니다. '퇴화' 판결을 내리려면 K≥3이어야 합니다.
- golden set에는 합성 샘플이 포함될 수 있습니다 (사용자 과거 데이터가 부족한 경우). 합성 샘플은 '구조가 올바른지'는 측정할 수 있지만, '사용자와 같은지'는 측정할 수 없습니다. 이러한 샘플은 파일에
"synthetic": true로 표시됩니다. risk는 '코드 줄 수 + 도구 종속성'의 유지보수 측면을 나타내는 대리 지표이며, 가치를 의미하지 않습니다. risk가 높다고 해서 삭제해야 하는 것은 아닙니다.- 제거와 설치는 모두 먼저 확인; 제거는 '비활성화/보관'을 우선시하며, 조용히 삭제하지 않습니다.
- 성능 저하 원인은 네 가지 유형뿐이며, 확장하지 마십시오: 도구 호출 오류 → 도구 설명 수정; 출력 구조는 맞지만 내용이 틀림 → 명령어 재작성; 트리거되어야 하지만 트리거되지 않음 → 트리거 설명 수정; 중간 단계는 모두 정상이지만 최종 상태가 틀림 → 모델 능력 회귀일 가능성이 있습니다.
판정 후 조치
| 판정 | 조치 |
|---|---|
| strong | 유지, 최상위 추천 가능 |
| watch | 유지, 다음 모델 변경 시 우선 재실행 |
| unverified | 먼저 golden set 구축 (3–5개의 실제 프롬프트) 후 판정, 임시 제거하지 않음 |
| degraded | 먼저 원인 분석 후 재작성 또는 비활성화 결정; 직접 삭제하지 않음 |
| prune-candidate | 베이스라인 없음 + 유지보수 측면 극히 높음 → 평가 권장, 자동 삭제하지 않음 |