중단. 어떤 엔드포인트도 호출하기 전에 이 SKILL.MD를 전체 읽으십시오.
assistant은(는) 무엇을 하나요?
공유 GPT + 분류기 + 회귀자 추론 게이트웨이 (페르소나 모니터 태스크용)
"워트 연못" — /assistant는 /assistant-lab (자기 개선 작업대: create-*, *-lab, 모델 팩토리)을 통해 추론 스택을 자율적으로 진화시킬 수 있으며 /monitor-skills는 스킬 생태계 전반에 걸친 관찰 가능성을 제공합니다.
프롬프트 반복 규칙 (변경 불가)
/assistant 모델의 모든 시스템 프롬프트는 /create-gpt를 통해 학습 데이터에 포함되기 전에 반드시 /prompt-lab을 통해 반복되어야 합니다. Python 문자열에서 시스템 프롬프트를 직접 작성하지 마십시오.
- 새 모델 프롬프트 → 먼저
/prompt-lab eval로 기준 진리(Ground Truth) 대비 평가 - 프롬프트 정체기(80-90% 그림자 일치율) →
/prompt-lab compare로 변형 간 비교 - 모델 재훈련 →
/create-gpt전에/prompt-lab find-minimum으로 프롬프트 검증
계층 캐스케이드
| 계층 | 방법 | 비용 | 지연 시간 | 생성 위치 |
|---|---|---|---|---|
| 0 | 휴리스틱 (정규식/키워드/스키마) | 무료 | 마이크로초 | 직접 코딩 |
| 0.5 | 분류기 (DistilBERT/sklearn) | 무료 | 5-25ms | /create-classifier |
| 0.75 | 회귀자 (sklearn/XGB) | 무료 | 5-10ms | /create-regressor |
| 1.5 | 공유 GPT (Qwen3-0.6B GGUF) | 무료 | ~200ms | /create-gpt |
| 2 | scillm (DeepSeek V3.2 via Chutes) | $0.12/1K | 2-5초 | 페르소나 교사 |
모델 생명 주기 (워트 연못)
Tier 2 페르소나 교사가 레이블 생성
↓ harvest.py가 shadow.jsonl 추출
↓
ModelFactory.auto_improve(task)
↓ 그림자 일치율 읽기
├─ >= 90%: 승격 (shadow_mode → false)
├─ 80-90%: 정체기 → /prompt-lab 재설계
├─ 70-80%: /create-gpt 또는 /create-classifier 재훈련
└─ < 70%: 적극적 재훈련 + 아키텍처 변경
↓
/gpt-lab 벤치마크 또는 /classifier-lab 평가
↓ 통과? → 레지스트리로 승격
↓
/monitor-skills 드리프트 또는 건강 문제 감지
↓
/assistant-lab auto-improve (진단 → 훈련 → 평가 → 승격)
사용법
# 계층 캐스케이드를 통해 데이터 검증
./run.sh validate --task qra-assessor --scope brandon_bailey --input '{"question":"...", "answer":"..."}'
# 텍스트 분류
./run.sh classify --task bridge-tagger --text "satellite vulnerability assessment"
# 새 모델 등록
./run.sh register --task NAME --model-path PATH --type gpt|classifier --threshold 0.85
# 등록된 모델, 적중률, 계층 분포 확인
./run.sh status
# 모든 계층에 합성 입력 실행
./run.sh self-test
# Tier 2로 이스케이프된 데이터를 학습 데이터로 추출
./run.sh harvest --since 24h
Python API
from assistant import validate, classify
# 4계층 캐스케이드로 검증
result = validate(
input_data={"question": "What is CWE-79?", "answer": "Cross-site scripting..."},
task="qra-assessor",
scope="brandon_bailey",
)
print(result.tier, result.confidence, result.result)
# 3계층 캐스케이드로 분류
result = classify(
text="satellite vulnerability assessment",
task="bridge-tagger",
)
print(result.prediction, result.confidence, result.source)
계약 조건
- 입력: 태스크별 딕셔너리 (검증기) 또는 텍스트 문자열 (분류기)
- 출력:
GatewayResult또는ClassifyResult(계층, 신뢰도, 지연 시간 포함) - 의존성: loguru, typer; 선택 사항: llama-cpp-python, torch, joblib
- 메트릭:
~/.pi/assistant/metrics.jsonl에 JSONL로 추가
모델 팩토리
# 태스크에 필요한 모델 확인
./run.sh factory needs --task stress-test-grader
# 수집된 교사 레이블에서 GPT 훈련
./run.sh factory train-gpt --task stress-test-grader
# /gpt-lab을 통해 평가
./run.sh factory evaluate --task stress-test-grader --type gpt
# 통과한 모델 승격 (그림자 모드 비활성화)
./run.sh factory promote --task stress-test-grader --type gpt
# 자율 개선 루프 (결정 + 훈련 + 평가 + 승격)
./run.sh factory auto-improve --task stress-test-grader
from model_factory import ModelFactory
factory = ModelFactory()
result = factory.auto_improve("stress-test-grader")
# → 그림자 일치율을 읽고 필요에 따라 훈련/평가/승격 수행
주요 동작
- 지연 모델 로딩: 첫 호출 시 가중치 로드, 프로세스 내 캐싱
- 메모리 주입: 페르소나 범위에서 회상, GPT 시스템 프롬프트 앞에 추가
- 통과 모드: 로컬 모델이 없으면 직접 scillm으로 전달
- 그림자 모드:
"shadow_mode": true인 태스크는 로컬 모델과 scillm을 병렬로 실행하고, 불일치를shadow.jsonl에 기록하며, 교사(scillm) 결과를 반환. 새로운 학생 모델의 안전한 도입을 가능하게 함. - 수확: 밤마다 Tier 2로 이스케이프된 데이터를 교사 레이블로 추출
- 모델 팩토리:
/assistant-lab을 통해, 그림자 모드가 태스크에 개선이 필요함을 보여줄 때 자율적으로 모델을 훈련, 평가, 승격 - 워트 연못:
/monitor-skills가 생태계를 감시하고(관찰 가능성),/assistant-lab이 문제를 수정(자기 개선). 이 둘이 함께 /assistant가 진화하는 워트 연못을 형성합니다.
흔한 실수
잘못된 예: Python 문자열에서 시스템 프롬프트 직접 작성
SYSTEM_PROMPT = "당신은 QRA 검증기입니다. 답변이 올바른지 확인하세요..."
올바른 예: 학습 데이터에 포함시키기 전에 /prompt-lab을 통해 프롬프트 반복
.pi/skills/prompt-lab/run.sh eval --prompt qra_validator_v1 --model deepseek
# prompt-lab 검증 후에야 학습 데이터 생성
잘못된 예: 불충분한 데이터로 훈련 (클래스당 200개 미만 샘플)
./run.sh factory train-gpt --task sparta-intent # 50개 샘플, 12개 클래스 = 클래스당 4개!
올바른 예: Tier 2에 머물며 먼저 더 많은 교사 레이블 수집
./run.sh harvest --since 7d # 그림자 레이블 축적
./run.sh status # 훈련 전 샘플 수 확인
잘못된 예: 그림자 모드를 건너뛰고 테스트되지 않은 모델 승격
./run.sh factory promote --task stress-test-grader # 그림자 비교 없음!
올바른 예: 그림자 모드 실행, 일치율 확인 후 승격
./run.sh factory auto-improve --task stress-test-grader
# auto-improve가 그림자 일치율을 읽고 결정