停止。エンドポイントを呼び出す前に、このSKILL.MD全体を読んでください。
assistant は何をしますか?
パーソナ監視タスク向けの共有GPT + 分類器 + 回帰器推論ゲートウェイ。
「温かい池」— /assistant は /assistant-lab(自己改善ワークベンチ: create-、-lab、モデルファクトリー)を介して推論スタックを自律的に進化させることができ、/monitor-skills はスキルエコシステム全体の可観測性を提供します。
プロンプト反復ルール(譲れません)
/assistant モデルのすべてのシステムプロンプトは、/prompt-lab を通じて反復された後、/create-gpt を介してトレーニングデータに焼き付けなければなりません。システムプロンプトをPython文字列で手作りしてはいけません。
- 新しいモデルのプロンプト → まず
/prompt-lab evalでグラウンドトゥルースに対して評価 - プロンプトがプラトーに達した場合(シャドウ一致率80-90%) →
/prompt-lab compareでバリアント間を比較 - モデルの再トレーニング →
/create-gptの前に/prompt-lab find-minimumでプロンプトを検証
階層カスケード
| 階層 | 方法 | コスト | レイテンシ | 作成者 |
|---|---|---|---|---|
| 0 | ヒューリスティック(正規表現/キーワード/スキーマ) | 無料 | マイクロ秒 | 手書き |
| 0.5 | 分類器(DistilBERT/sklearn) | 無料 | 5-25ms | /create-classifier |
| 0.75 | 回帰器(sklearn/XGB) | 無料 | 5-10ms | /create-regressor |
| 1.5 | 共有GPT(Qwen3-0.6B GGUF) | 無料 | ~200ms | /create-gpt |
| 2 | scillm(Chutes上のDeepSeek V3.2) | $0.12/1K | 2-5秒 | パーソナ教師 |
モデルライフサイクル(温かい池)
Tier 2 パーソナ教師がラベルを作成
↓ harvest.py が shadow.jsonl を抽出
↓
ModelFactory.auto_improve(task)
↓ シャドウ一致率を読み取り
├─ >= 90%: 昇格(shadow_mode → false)
├─ 80-90%: プラトー → /prompt-lab で再設計
├─ 70-80%: /create-gpt または /create-classifier で再トレーニング
└─ < 70%: 積極的再トレーニング + アーキテクチャ変更
↓
/gpt-lab ベンチマーク または /classifier-lab 評価
↓ 合格? → レジストリに昇格
↓
/monitor-skills がドリフトや健全性の問題を検出
↓
/assistant-lab auto-improve(診断 → トレーニング → 評価 → 昇格)
使用方法
# 階層カスケードを通じてデータを検証
./run.sh validate --task qra-assessor --scope brandon_bailey --input '{"question":"...", "answer":"..."}'
# テキストを分類
./run.sh classify --task bridge-tagger --text "satellite vulnerability assessment"
# 新しいモデルを登録
./run.sh register --task NAME --model-path PATH --type gpt|classifier --threshold 0.85
# 登録済みモデル、ヒット率、階層分布を表示
./run.sh status
# すべての階層に合成入力を実行
./run.sh self-test
# 階層2のエスカレーションをトレーニングデータとして抽出
./run.sh harvest --since 24h
Python API
from assistant import validate, classify
# 4段階カスケードで検証
result = validate(
input_data={"question": "What is CWE-79?", "answer": "Cross-site scripting..."},
task="qra-assessor",
scope="brandon_bailey",
)
print(result.tier, result.confidence, result.result)
# 3段階カスケードで分類
result = classify(
text="satellite vulnerability assessment",
task="bridge-tagger",
)
print(result.prediction, result.confidence, result.source)
契約
- 入力: タスク固有の辞書(バリデーター)またはテキスト文字列(分類器)
- 出力: 階層、信頼度、レイテンシを含む
GatewayResultまたはClassifyResult - 依存関係: loguru、typer; オプション: llama-cpp-python、torch、joblib
- メトリクス:
~/.pi/assistant/metrics.jsonlにJSONLを追記
モデルファクトリー
# タスクに必要なモデルを確認
./run.sh factory needs --task stress-test-grader
# 収穫された教師ラベルからGPTをトレーニング
./run.sh factory train-gpt --task stress-test-grader
# /gpt-lab 経由で評価
./run.sh factory evaluate --task stress-test-grader --type gpt
# 合格したモデルを昇格(シャドウモードを無効化)
./run.sh factory promote --task stress-test-grader --type gpt
# 自律改善ループ(判断 + トレーニング + 評価 + 昇格)
./run.sh factory auto-improve --task stress-test-grader
from model_factory import ModelFactory
factory = ModelFactory()
result = factory.auto_improve("stress-test-grader")
# → シャドウ一致率を読み取り、必要に応じてトレーニング/評価/昇格を実行
主要な動作
- 遅延モデル読み込み: 重みは最初の呼び出し時に読み込まれ、プロセス内でキャッシュされる
- メモリ注入: パーソナスコープから想起し、GPTシステムプロンプトの前に追加
- パススルーモード: ローカルモデルが存在しない場合は直接scillmにフォールバック
- シャドウモード:
"shadow_mode": trueのタスクではローカルモデルとscillmを並列実行し、不一致をshadow.jsonlに記録し、教師(scillm)の結果を返す。新しい生徒モデルの安全な段階的導入を可能にする。 - 収穫: 階層2のエスカレーションを教師ラベルとして夜間に抽出
- モデルファクトリー:
/assistant-labを介して、シャドウモードがタスクの改善必要性を示した場合に、自律的にモデルをトレーニング、評価、昇格させる - 温かい池:
/monitor-skillsがエコシステムを監視し(可観測性)、/assistant-labが問題を修正する(自己改善)。これらが連携して、/assistant が進化する温かい池を形成する
よくある間違い
間違い: Python文字列でシステムプロンプトを手作りする
SYSTEM_PROMPT = "You are a QRA validator. Check if the answer is correct..."
正しい: トレーニングデータに焼き付ける前に /prompt-lab でプロンプトを反復する
.pi/skills/prompt-lab/run.sh eval --prompt qra_validator_v1 --model deepseek
# prompt-labの検証後にのみトレーニングデータを作成する
間違い: 不十分なデータでトレーニングする(クラスあたり200サンプル未満)
./run.sh factory train-gpt --task sparta-intent # 50個のサンプル、12クラス = 1クラスあたり4つ!
正しい: Tier 2に留まり、まず教師ラベルをさらに収穫する
./run.sh harvest --since 7d # シャドウラベルを蓄積
./run.sh status # トレーニング前にサンプル数を確認
間違い: シャドウモードをスキップし、未テストのモデルを昇格させる
./run.sh factory promote --task stress-test-grader # シャドウ比較なし!
正しい: シャドウモードを実行し、一致率を確認してから昇格させる
./run.sh factory auto-improve --task stress-test-grader
# auto-improve がシャドウ一致率を読み取り、判断する