STOP. LESEN SIE DIESES GESAMTE SKILL.MD BEVOR SIE EINEN ENDPUNKT AUFRUFEN.
Was macht assistant?
Geteiltes GPT + Klassifikator + Regressions-Inferenz-Gateway für Persona-Überwachungsaufgaben.
Der "Warm Pond" — /assistant kann seinen Inferenz-Stack autonom weiterentwickeln über
/assistant-lab (Selbstverbesserungswerkbank: create-*, *-lab, Modellfabrik)
während /monitor-skills Beobachtbarkeit über das gesamte Skill-Ökosystem bietet.
Prompt-Iterationsregel (NICHT VERHANDELBAR)
Alle System-Prompts für /assistant-Modelle MÜSSEN über /prompt-lab iteriert werden, bevor sie in Trainingsdaten über /create-gpt eingebrannt werden. NIEMALS System-Prompts von Hand in Python-Strings erstellen.
- Neuer Modell-Prompt → zuerst
/prompt-lab evalgegen Ground Truth - Prompt-Plateau (80-90% Shadow-Übereinstimmung) →
/prompt-lab compareüber Varianten - Modell-Neutraining → Prompt mit
/prompt-lab find-minimumvalidieren, bevor/create-gpt
Tier-Kaskade
| Tier | Methode | Kosten | Latenz | Erstellt von |
|---|---|---|---|---|
| 0 | Heuristik (Regex/Schlüsselwort/Schema) | kostenlos | Mikrosekunden | handkodiert |
| 0.5 | Klassifikator (DistilBERT/sklearn) | kostenlos | 5-25ms | /create-classifier |
| 0.75 | Regressor (sklearn/XGB) | kostenlos | 5-10ms | /create-regressor |
| 1.5 | Geteiltes GPT (Qwen3-0.6B GGUF) | kostenlos | ~200ms | /create-gpt |
| 2 | scillm (DeepSeek V3.2 über Chutes) | 0,12 $/1K | 2-5s | Persona-Lehrer |
Modell-Lebenszyklus (Warm Pond)
Tier 2 Persona-Lehrer erstellt Labels
↓ harvest.py extrahiert shadow.jsonl
↓
ModelFactory.auto_improve(task)
↓ liest Shadow-Übereinstimmungsrate
├─ >= 90%: Promotion (shadow_mode → false)
├─ 80-90%: Plateau → /prompt-lab Neugestaltung
├─ 70-80%: /create-gpt oder /create-classifier Neutraining
└─ < 70%: aggressives Neutraining + Architekturänderung
↓
/gpt-lab Benchmark oder /classifier-lab Evaluierung
↓ bestanden? → Promotion ins Register
↓
/monitor-skills erkennt Drift oder Gesundheitsprobleme
↓
/assistant-lab auto-improve (diagnostizieren → trainieren → evaluieren → promovieren)
Verwendung
# Daten durch Tier-Kaskade validieren
./run.sh validate --task qra-assessor --scope brandon_bailey --input '{"question":"...", "answer":"..."}'
# Text klassifizieren
./run.sh classify --task bridge-tagger --text "Satelliten-Verwundbarkeitsbewertung"
# Ein neues Modell registrieren
./run.sh register --task NAME --model-path PFAD --type gpt|classifier --threshold 0.85
# Registrierte Modelle, Trefferquoten, Tier-Verteilung anzeigen
./run.sh status
# Synthetischen Input durch alle Tiers laufen lassen
./run.sh self-test
# Tier-2-Eskalationen als Trainingsdaten extrahieren
./run.sh harvest --since 24h
Python-API
from assistant import validate, classify
# Mit 4-stufiger Tier-Kaskade validieren
result = validate(
input_data={"question": "Was ist CWE-79?", "answer": "Cross-Site-Scripting..."},
task="qra-assessor",
scope="brandon_bailey",
)
print(result.tier, result.confidence, result.result)
# Mit 3-stufiger Kaskade klassifizieren
result = classify(
text="Satelliten-Verwundbarkeitsbewertung",
task="bridge-tagger",
)
print(result.prediction, result.confidence, result.source)
Vertrag
- Eingabe: Aufgabenspezifisches Dict (Validatoren) oder Text-String (Klassifikatoren)
- Ausgabe:
GatewayResultoderClassifyResultmit Tier, Konfidenz, Latenz - Abhängigkeiten: loguru, typer; optional: llama-cpp-python, torch, joblib
- Metriken: Hängt JSONL an
~/.pi/assistant/metrics.jsonlan
Modellfabrik
# Prüfen, welche Modelle eine Aufgabe benötigt
./run.sh factory needs --task stress-test-grader
# Ein GPT aus geernteten Lehrer-Labels trainieren
./run.sh factory train-gpt --task stress-test-grader
# Über /gpt-lab evaluieren
./run.sh factory evaluate --task stress-test-grader --type gpt
# Ein bestandenes Modell promovieren (deaktiviert Shadow-Modus)
./run.sh factory promote --task stress-test-grader --type gpt
# Autonome Verbesserungsschleife (entscheiden + trainieren + evaluieren + promovieren)
./run.sh factory auto-improve --task stress-test-grader
from model_factory import ModelFactory
factory = ModelFactory()
result = factory.auto_improve("stress-test-grader")
# → liest Shadow-Übereinstimmungsrate, trainiert/evaluiert/promoviert nach Bedarf
Wichtige Verhaltensweisen
- Lazy-Modell-Laden: Gewichte werden beim ersten Aufruf geladen, prozessintern zwischengespeichert
- Speicher-Injektion: Erinnert sich an Persona-Bereich, wird dem GPT-System-Prompt vorangestellt
- Passthrough-Modus: Fällt direkt auf scillm zurück, wenn kein lokales Modell existiert
- Shadow-Modus: Aufgaben mit
"shadow_mode": trueführen lokales Modell UND scillm parallel aus, protokollieren Abweichungen inshadow.jsonl, geben das Lehrer-Ergebnis (scillm) zurück. Ermöglicht sicheres Hochfahren neuer Schüler-Modelle. - Harvest: Nächtliche Extraktion von Tier-2-Eskalationen als Lehrer-Labels
- Modellfabrik: Über
/assistant-labtrainiert, evaluiert und promoviert es autonom Modelle, wenn der Shadow-Modus einen Verbesserungsbedarf für eine Aufgabe anzeigt - Warm Pond:
/monitor-skillsbeobachtet das Ökosystem (Beobachtbarkeit),/assistant-labbehebt Probleme (Selbstverbesserung). Zusammen bilden sie den Warm Pond, in dem /assistant sich weiterentwickelt.
Häufige Fehler
FALSCH: System-Prompts von Hand in Python-Strings erstellen
SYSTEM_PROMPT = "Du bist ein QRA-Validator. Überprüfe, ob die Antwort korrekt ist..."
RICHTIG: Prompts durch /prompt-lab iterieren, bevor sie in Trainingsdaten eingebrannt werden
.pi/skills/prompt-lab/run.sh eval --prompt qra_validator_v1 --model deepseek
# Erst nach prompt-lab-Validierung → Trainingsdaten erstellen
FALSCH: Mit unzureichenden Daten trainieren (< 200 Stichproben pro Klasse)
./run.sh factory train-gpt --task sparta-intent # 50 Stichproben, 12 Klassen = 4/Klasse!
RICHTIG: Auf Tier 2 bleiben und zuerst mehr Lehrer-Labels ernten
./run.sh harvest --since 7d # Shadow-Labels ansammeln
./run.sh status # Stichprobenanzahl vor dem Training prüfen
FALSCH: Shadow-Modus überspringen und ungetestete Modelle promovieren
./run.sh factory promote --task stress-test-grader # kein Shadow-Vergleich!
RICHTIG: Shadow-Modus ausführen, Übereinstimmungsrate prüfen, dann promovieren
./run.sh factory auto-improve --task stress-test-grader
# auto-improve liest die Shadow-Übereinstimmungsrate und entscheidet