停止。在调用任何端点之前,请完整阅读本 SKILL.MD。
assistant 是做什么的?
共享 GPT + 分类器 + 回归器推理网关,用于人格监控任务。
“温暖水池”——/assistant 可通过 /assistant-lab(自改进工作台:create-*, *-lab, 模型工厂)自主进化其推理栈,同时 /monitor-skills 提供整个技能生态的可观测性。
提示迭代规则(不可协商)
所有用于 /assistant 模型的系统提示,在通过 /create-gpt 固化到训练数据之前,必须通过 /prompt-lab 进行迭代。绝不要在 Python 字符串中手工编写系统提示。
- 新模型提示 → 首先与地面真值一起进行
/prompt-lab eval - 提示平台期(80-90% 影子一致性)→ 跨变体进行
/prompt-lab compare - 模型重新训练 → 确保在
/create-gpt之前使用/prompt-lab find-minimum验证提示
层级级联
| 层级 | 方法 | 成本 | 延迟 | 创建方式 |
|---|---|---|---|---|
| 0 | 启发式(正则表达式/关键词/模式) | 免费 | 微秒级 | 手写编码 |
| 0.5 | 分类器(DistilBERT/sklearn) | 免费 | 5-25ms | /create-classifier |
| 0.75 | 回归器(sklearn/XGB) | 免费 | 5-10ms | /create-regressor |
| 1.5 | 共享 GPT(Qwen3-0.6B GGUF) | 免费 | ~200ms | /create-gpt |
| 2 | scillm(DeepSeek V3.2 via Chutes) | $0.12/1K | 2-5s | 人格教师 |
模型生命周期(温暖水池)
Tier 2 教师模型创建标签
↓ harvest.py 提取 shadow.jsonl
↓
ModelFactory.auto_improve(task)
↓ 读取影子一致性率
├─ >= 90%: 推广(shadow_mode → false)
├─ 80-90%: 平台期 → /prompt-lab 重新设计
├─ 70-80%: 重新训练 /create-gpt 或 /create-classifier
└─ < 70%: 激进重新训练 + 架构变更
↓
/gpt-lab 基准测试 或 /classifier-lab 评估
↓ 通过?→ 推广到注册表
↓
/monitor-skills 检测漂移或健康问题
↓
/assistant-lab 自动改进(诊断 → 训练 → 评估 → 推广)
使用方式
# 通过层级级联验证数据
./run.sh validate --task qra-assessor --scope brandon_bailey --input '{"question":"...", "answer":"..."}'
# 分类文本
./run.sh classify --task bridge-tagger --text "卫星漏洞评估"
# 注册新模型
./run.sh register --task NAME --model-path PATH --type gpt|classifier --threshold 0.85
# 显示已注册模型、命中率、层级分布
./run.sh status
# 对所有层级运行合成输入
./run.sh self-test
# 提取层级 2 升级为训练数据
./run.sh harvest --since 24h
Python API
from assistant import validate, classify
# 使用 4 层级联进行验证
result = validate(
input_data={"question": "什么是 CWE-79?", "answer": "跨站脚本..."},
task="qra-assessor",
scope="brandon_bailey",
)
print(result.tier, result.confidence, result.result)
# 使用 3 层级联进行分类
result = classify(
text="卫星漏洞评估",
task="bridge-tagger",
)
print(result.prediction, result.confidence, result.source)
契约
- 输入:任务特定字典(验证器)或文本字符串(分类器)
- 输出:
GatewayResult或ClassifyResult,包含层级、置信度、延迟 - 依赖:loguru, typer;可选:llama-cpp-python, torch, joblib
- 指标:以 JSONL 格式追加到
~/.pi/assistant/metrics.jsonl
模型工厂
# 检查任务需要哪些模型
./run.sh factory needs --task stress-test-grader
# 从教师生成标签中训练 GPT
./run.sh factory train-gpt --task stress-test-grader
# 通过 /gpt-lab 评估
./run.sh factory evaluate --task stress-test-grader --type gpt
# 推广一个通过评估的模型(禁用影子模式)
./run.sh factory promote --task stress-test-grader --type gpt
# 自治改进循环(决策 + 训练 + 评估 + 推广)
./run.sh factory auto-improve --task stress-test-grader
from model_factory import ModelFactory
factory = ModelFactory()
result = factory.auto_improve("stress-test-grader")
# → 读取影子一致性,根据需要训练/评估/推广
关键行为
- 延迟加载模型:权重在首次调用时加载,进程内缓存
- 记忆注入:从人格作用域中召回,并追加到 GPT 系统提示中
- 直通模式:如果本地模型不存在,直接回退到 scillm
- 影子模式:对于设置了
"shadow_mode": true的任务,同时运行本地模型和 scillm,将分歧记录到shadow.jsonl,并返回教师(scillm)结果。允许新学生模型安全上线。 - 收割:每晚提取层级 2 升级作为教师标签
- 模型工厂:通过
/assistant-lab,当影子模式显示某个任务需要改进时,自治训练、评估和推广模型 - 温暖水池:
/monitor-skills监控生态系统(可观测性),/assistant-lab修复问题(自改进)。两者共同构成了 /assistant 进化的温暖水池。
常见错误
错误:在 Python 字符串中手工编写系统提示
SYSTEM_PROMPT = "你是一个 QRA 验证器。检查答案是否正确..."
正确:在固化到训练数据之前,通过 /prompt-lab 迭代提示
.pi/skills/prompt-lab/run.sh eval --prompt qra_validator_v1 --model deepseek
# 仅在 prompt-lab 验证之后 → 创建训练数据
错误:使用不足的数据进行训练(每类少于 200 个样本)
./run.sh factory train-gpt --task sparta-intent # 50 个样本,12 个类 = 每类 4 个!
正确:停留在 Tier 2,首先收割更多教师标签
./run.sh harvest --since 7d # 积累影子标签
./run.sh status # 在训练前检查样本计数
错误:跳过影子模式,直接推广未经测试的模型
./run.sh factory promote --task stress-test-grader # 没有影子比较!
正确:运行影子模式,验证一致性率,然后推广
./run.sh factory auto-improve --task stress-test-grader
# auto-improve 读取影子一致性率并做出决策