Zhr65/SkillFresh

Tabla de depreciación de habilidades (skill-auditor)

Al cambiar de modelo, los skills / plugins instalados no generan errores, solo empeoran silenciosamente. Este skill convierte ese "empeoramiento" en números medibles.

Tres juicios, cada uno con su evidencia

Pregunta del usuario	Cómo se juzga	Requisito clave
¿Se degradó la capacidad?	Ejecutar el mismo golden set en el nuevo modelo, caída de tasa de aprobación ≥20pp y dirección consistente	La huella no debe cambiar. Si cambió, es "ha sido modificado", no degradación
¿El nuevo skill/plugin funciona bien?	Ablación (con/sin él) + tasa de adopción, calcular beneficio neto	Sin control, solo "se siente bien"
¿Se ajusta a mí?	Precisión de activación (debe activarse cuando debe, no activarse cuando no) + conciliación de entorno + línea base de estilo	Usar prompts reales del historial, no imaginados

Cómo ajustar

Cuando el plugin tiene herramientas registradas, úsalas directamente (es la opción preferida):

• skill_audit_status — Tabla de depreciación: huella / tasa de aprobación base / riesgo / juicio
• skill_audit_recommend — Fuerte / En observación / No verificado / Degradado / Candidato a podar, cinco niveles
• skill_audit_check — Si el modelo actual ha cambiado respecto a la línea base de la última regresión
• skill_audit_scan — Redescubrir activos después de instalar algo nuevo
• skill_audit_suggest — Cuando la necesidad del usuario no está cubierta por ningún activo, qué agregar

Sin interfaz de herramientas (por ejemplo, hosts que solo tienen instalado el skill), usa la CLI:

python <data-dir>/scripts/console.py --host deepseek status
python <data-dir>/scripts/console.py --host deepseek recommend
python <data-dir>/scripts/console.py --host workbuddy status --root ~/.workbuddy-ai/skills

<data-dir> por defecto es ~/.dsh/skill-auditor (se puede sobrescribir con SKILL_AUDITOR_HOME). El motor es Python 3.8+ de biblioteca estándar pura, sin dependencias de terceros.

Cuando el usuario no tiene skills / plugins disponibles

Este es el mecanismo proactivo del skill, no esperes a que el usuario pregunte:

1. Primero revisa el registro de instalaciones — si ya hay cobertura, no sugieras agregar (evitar duplicados);
2. Si realmente no hay cobertura → skill_audit_suggest --need "<necesidad en una frase>";
3. Salida: "Sugerir agregar + términos de búsqueda", la instalación la confirma el usuario, no se instala automáticamente.

Límites estrictos (debes decirlos tal cual, sin maquillarlos como conclusión)

• La línea base con K=1 es autoevaluación, no una conclusión estadística. Para emitir un veredicto de "degradación", se necesita K≥3.
• El golden set puede contener muestras sintéticas (cuando el historial del usuario es insuficiente). Las muestras sintéticas pueden medir "si la estructura es correcta", pero no "si se parece a ti". Dichas muestras se marcan con "synthetic": true en el archivo.
• El riesgo es un proxy de la superficie de mantenimiento (líneas de código + dependencias de herramientas), no representa el valor. Alto riesgo no significa que deba eliminarse.
• Tanto desinstalar como instalar requieren confirmación previa; la desinstalación prioriza "deshabilitar/archivar", no eliminar silenciosamente.
• La atribución de degradación solo tiene cuatro categorías, no las amplíes: error en llamada a herramienta → corregir descripción de la herramienta; estructura de salida correcta pero contenido erróneo → reescribir instrucciones; debió activarse pero no lo hizo → modificar descripción de activación; todo intermedio correcto pero estado final erróneo → solo entonces podría ser regresión de capacidad del modelo.

Acciones posteriores al juicio

Juicio	Acción
fuerte	Conservar, se puede recomendar y fijar
en observación	Conservar, priorizar reejecución en el próximo cambio de modelo
no verificado	Primero construir golden set (3–5 prompts reales) y luego juzgar, no eliminar temporalmente
degradado	Primero atribuir, luego decidir si reescribir o deshabilitar; no eliminar directamente
candidato a podar	Sin línea base + superficie de mantenimiento muy alta → sugerir evaluación, no eliminar automáticamente