grahama1970/assistant

DETÉNGASE. LEA ESTE SKILL.MD COMPLETO ANTES DE LLAMAR A CUALQUIER ENDPOINT.

¿Qué hace assistant?

Puerta de enlace de inferencia compartida GPT + clasificador + regresor para tareas de monitoreo de persona.

El "estanque cálido" — /assistant puede evolucionar autónomamente su stack de inferencia a través de /assistant-lab (banco de trabajo de auto-mejora: create-*, *-lab, fábrica de modelos) mientras que /monitor-skills proporciona observabilidad en todo el ecosistema de habilidades.

Regla de Iteración de Prompt (NO NEGOCIABLE)

Todos los prompts del sistema para los modelos de /assistant DEBEN iterarse a través de /prompt-lab antes de ser incorporados en datos de entrenamiento a través de /create-gpt. NUNCA cree prompts del sistema manualmente en cadenas de Python.

• Nuevo prompt de modelo → /prompt-lab eval contra la verdad de referencia primero
• Meseta de prompt (80-90% de acuerdo sombra) → /prompt-lab compare entre variantes
• Reentrenamiento de modelo → validar prompt con /prompt-lab find-minimum antes de /create-gpt

Cascada de Niveles

Nivel	Método	Costo	Latencia	Creado Por
0	Heurístico (regex/keyword/esquema)	gratuito	microsegundos	codificado a mano
0.5	Clasificador (DistilBERT/sklearn)	gratuito	5-25ms	/create-classifier
0.75	Regresor (sklearn/XGB)	gratuito	5-10ms	/create-regressor
1.5	GPT Compartido (Qwen3-0.6B GGUF)	gratuito	~200ms	/create-gpt
2	scillm (DeepSeek V3.2 vía Chutes)	$0.12/1K	2-5s	maestro de persona

Ciclo de Vida del Modelo (Estanque Cálido)

El maestro de Nivel 2 crea etiquetas
    ↓ harvest.py extrae shadow.jsonl
    ↓
ModelFactory.auto_improve(tarea)
    ↓ lee la tasa de acuerdo sombra
    ├─ >= 90%: promocionar (shadow_mode → false)
    ├─ 80-90%: meseta → rediseño en /prompt-lab
    ├─ 70-80%: reentrenar /create-gpt o /create-classifier
    └─ < 70%: reentrenamiento agresivo + cambio de arquitectura
    ↓
/gpt-lab benchmark o /classifier-lab evaluate
    ↓ ¿aprobado? → promocionar al registro
    ↓
/monitor-skills detecta deriva o problemas de salud
    ↓
/assistant-lab auto-improve (diagnosticar → entrenar → evaluar → promocionar)

Uso

# Validar datos a través de la cascada de niveles
./run.sh validate --task qra-assessor --scope brandon_bailey --input '{"question":"...", "answer":"..."}'

# Clasificar texto
./run.sh classify --task bridge-tagger --text "evaluación de vulnerabilidad satelital"

# Registrar un nuevo modelo
./run.sh register --task NOMBRE --model-path RUTA --type gpt|classifier --threshold 0.85

# Mostrar modelos registrados, tasas de acierto, distribución de niveles
./run.sh status

# Ejecutar entrada sintética a través de todos los niveles
./run.sh self-test

# Extraer escalamientos de Nivel 2 como datos de entrenamiento
./run.sh harvest --since 24h

API de Python

from assistant import validate, classify

# Validar con cascada de 4 niveles
result = validate(
    input_data={"question": "¿Qué es CWE-79?", "answer": "Cross-site scripting..."},
    task="qra-assessor",
    scope="brandon_bailey",
)
print(result.tier, result.confidence, result.result)

# Clasificar con cascada de 3 niveles
result = classify(
    text="evaluación de vulnerabilidad satelital",
    task="bridge-tagger",
)
print(result.prediction, result.confidence, result.source)

Contrato

• Entrada: Diccionario específico de tarea (validadores) o cadena de texto (clasificadores)
• Salida: GatewayResult o ClassifyResult con nivel, confianza, latencia
• Dependencias: loguru, typer; opcional: llama-cpp-python, torch, joblib
• Métricas: Agrega JSONL a ~/.pi/assistant/metrics.jsonl

Fábrica de Modelos

# Verificar qué modelos necesita una tarea
./run.sh factory needs --task stress-test-grader

# Entrenar un GPT a partir de etiquetas del maestro extraídas
./run.sh factory train-gpt --task stress-test-grader

# Evaluar a través de /gpt-lab
./run.sh factory evaluate --task stress-test-grader --type gpt

# Promocionar un modelo aprobado (deshabilita el modo sombra)
./run.sh factory promote --task stress-test-grader --type gpt

# Bucle de mejora autónoma (decidir + entrenar + evaluar + promocionar)
./run.sh factory auto-improve --task stress-test-grader

from model_factory import ModelFactory

factory = ModelFactory()
result = factory.auto_improve("stress-test-grader")
# → lee acuerdo sombra, entrena/evalúa/promociona según sea necesario

Comportamientos Clave

1. Carga perezosa de modelos: Los pesos se cargan en la primera llamada, se almacenan en caché en el proceso
2. Inyección de memoria: Recupera del ámbito de persona, antepone al prompt del sistema GPT
3. Modo de paso directo: Cae directamente a scillm si no existe un modelo local
4. Modo sombra: Las tareas con "shadow_mode": true ejecutan el modelo local Y scillm en paralelo, registran desacuerdos en shadow.jsonl, devuelven el resultado del maestro (scillm). Permite la incorporación segura de nuevos modelos estudiantes.
5. Cosecha: Extracción nocturna de escalamientos de Nivel 2 como etiquetas del maestro
6. Fábrica de Modelos: A través de /assistant-lab, entrena, evalúa y promociona modelos de forma autónoma cuando el modo sombra muestra que una tarea necesita mejora
7. Estanque Cálido: /monitor-skills vigila el ecosistema (observabilidad), /assistant-lab soluciona problemas (auto-mejora). Juntos forman el estanque cálido donde /assistant evoluciona.

Errores Comunes

INCORRECTO: Crear prompts del sistema manualmente en cadenas de Python

SYSTEM_PROMPT = "Eres un validador QRA. Verifica si la respuesta es correcta..."

CORRECTO: Iterar prompts a través de /prompt-lab antes de incorporarlos en datos de entrenamiento

.pi/skills/prompt-lab/run.sh eval --prompt qra_validator_v1 --model deepseek
# Solo después de la validación en prompt-lab → crear datos de entrenamiento

INCORRECTO: Entrenar con datos insuficientes (< 200 muestras por clase)

./run.sh factory train-gpt --task sparta-intent  # 50 muestras, 12 clases = 4/clase!

CORRECTO: Permanecer en Nivel 2 y cosechar más etiquetas del maestro primero

./run.sh harvest --since 7d  # acumular etiquetas sombra
./run.sh status              # verificar conteos de muestras antes de entrenar

INCORRECTO: Omitir modo sombra y promocionar modelos sin probar

./run.sh factory promote --task stress-test-grader  # ¡sin comparación sombra!

CORRECTO: Ejecutar modo sombra, verificar tasa de acuerdo, luego promocionar

./run.sh factory auto-improve --task stress-test-grader
# auto-improve lee la tasa de acuerdo sombra y decide