停止。在調用任何端點之前，請完整閱讀此 SKILL.MD。
assistant 是做什麼的？
共享 GPT + 分類器 + 回歸器推論閘道，用於角色監控任務。
「溫暖池塘」—— /assistant 可以透過 /assistant-lab（自我改進工作檯：create-、-lab、模型工廠）自主演化其推論堆疊，而 /monitor-skills 則提供跨技能生態系的觀測能力。
提示迭代規則（不可協商）
所有 /assistant 模型的系統提示必須先透過 /prompt-lab 迭代，才能烘焙至訓練資料（透過 /create-gpt）。絕不要在 Python 字串中手寫系統提示。
- 新模型提示 → 先對真實答案進行
/prompt-lab eval - 提示高原期（80-90% 影子同意率）→ 跨變體進行
/prompt-lab compare - 模型重新訓練 → 在
/create-gpt之前先用/prompt-lab find-minimum驗證提示
層級聯架構
| 層級 | 方法 | 成本 | 延遲 | 建立方式 |
|---|---|---|---|---|
| 0 | 啟發式（正則/關鍵字/結構） | 免費 | 微秒 | 手工編寫 |
| 0.5 | 分類器（DistilBERT/sklearn） | 免費 | 5-25ms | /create-classifier |
| 0.75 | 回歸器（sklearn/XGB） | 免費 | 5-10ms | /create-regressor |
| 1.5 | 共享 GPT（Qwen3-0.6B GGUF） | 免費 | ~200ms | /create-gpt |
| 2 | scillm（DeepSeek V3.2，經由 Chutes） | $0.12/1K | 2-5s | 角色教師 |
模型生命週期（溫暖池塘）
層級 2 角色教師建立標籤
↓ harvest.py 提取 shadow.jsonl
↓
ModelFactory.auto_improve(task)
↓ 讀取影子同意率
├─ >= 90%：推廣（shadow_mode → false）
├─ 80-90%：高原期 → /prompt-lab 重新設計
├─ 70-80%：重新訓練 /create-gpt 或 /create-classifier
└─ < 70%：積極重新訓練 + 架構變更
↓
/gpt-lab 基準測試 或 /classifier-lab 評估
↓ 通過？→ 推廣至註冊表
↓
/monitor-skills 偵測漂移或健康問題
↓
/assistant-lab auto-improve（診斷 → 訓練 → 評估 → 推廣）
使用方式
# 透過層級聯驗證資料
./run.sh validate --task qra-assessor --scope brandon_bailey --input '{"question":"...", "answer":"..."}'
# 分類文字
./run.sh classify --task bridge-tagger --text "satellite vulnerability assessment"
# 註冊新模型
./run.sh register --task NAME --model-path PATH --type gpt|classifier --threshold 0.85
# 顯示已註冊模型、命中率、層級分佈
./run.sh status
# 對所有層級執行合成輸入測試
./run.sh self-test
# 提取層級 2 升級為訓練資料
./run.sh harvest --since 24h
Python API
from assistant import validate, classify
# 使用四層級聯進行驗證
result = validate(
input_data={"question": "什麼是 CWE-79？", "answer": "跨站腳本攻擊..."},
task="qra-assessor",
scope="brandon_bailey",
)
print(result.tier, result.confidence, result.result)
# 使用三層級聯進行分類
result = classify(
text="satellite vulnerability assessment",
task="bridge-tagger",
)
print(result.prediction, result.confidence, result.source)
合約
- 輸入：任務相關的 dict（驗證器）或文字字串（分類器）
- 輸出：
GatewayResult或ClassifyResult，包含 tier、confidence、latency - 依賴：loguru、typer；可選：llama-cpp-python、torch、joblib
- 指標：追加 JSONL 至
~/.pi/assistant/metrics.jsonl
模型工廠
# 檢查任務需要哪些模型
./run.sh factory needs --task stress-test-grader
# 從收集的教師標籤訓練 GPT
./run.sh factory train-gpt --task stress-test-grader
# 透過 /gpt-lab 評估
./run.sh factory evaluate --task stress-test-grader --type gpt
# 推廣通過的模型（停用影子模式）
./run.sh factory promote --task stress-test-grader --type gpt
# 自主改進循環（決策 + 訓練 + 評估 + 推廣）
./run.sh factory auto-improve --task stress-test-grader
from model_factory import ModelFactory
factory = ModelFactory()
result = factory.auto_improve("stress-test-grader")
# → 讀取影子同意率，視需要訓練/評估/推廣
關鍵行為
- 懶加載模型：權重僅在首次呼叫時載入，並在行程內快取
- 記憶注入：從角色範圍中回想，並預先附加至 GPT 系統提示
- 直通模式：若無本地模型，直接降級至 scillm
- 影子模式：設定
"shadow_mode": true的任務會同時執行本地模型與 scillm，將不一致處記錄至 shadow.jsonl，並返回教師（scillm）結果。實現新學生模型的安全上線。 - 收割：夜間提取層級 2 升級作為教師標籤
- 模型工廠：透過
/assistant-lab，當影子模式顯示需要改進時，自主訓練、評估、推廣模型 - 溫暖池塘：
/monitor-skills監控生態系（可觀測性），/assistant-lab修復問題（自我改進）。兩者共同形成/assistant得以演化的溫暖池塘。
常見錯誤
錯誤：在 Python 字串中手寫系統提示
SYSTEM_PROMPT = "你是一個 QRA 驗證器。請檢查答案是否正確..."
正確：透過 /prompt-lab 迭代提示，再烘焙至訓練資料
.pi/skills/prompt-lab/run.sh eval --prompt qra_validator_v1 --model deepseek
# 只有在 prompt-lab 驗證通過後 → 建立訓練資料
錯誤：使用不足的資料訓練（每類別少於 200 個樣本）
./run.sh factory train-gpt --task sparta-intent # 50 個樣本，12 個類別 = 每類 4 個！
正確：停留在層級 2，先收割更多教師標籤
./run.sh harvest --since 7d # 累積影子標籤
./run.sh status # 訓練前檢查樣本數量
錯誤：跳過影子模式，直接推廣未測試的模型
./run.sh factory promote --task stress-test-grader # 無影子比較！
正確：執行影子模式，驗證同意率，再推廣
./run.sh factory auto-improve --task stress-test-grader
# auto-improve 讀取影子同意率並決定