curiositech/windags-skills

Descubrimiento Autónomo de Habilidades (Agentic Skill Discovery)

Versión: 1.0
Dominio: Sistemas de Aprendizaje Autónomo, Arquitectura de IA, Aprendizaje por Refuerzo

Concepto Central

El descubrimiento autónomo de habilidades resuelve el problema del huevo y la gallina: aprender qué constituye el éxito mientras se aprende cómo lograrlo. El sistema debe ser tanto estudiante como maestro, creando dependencias circulares que requieren una separación arquitectónica de la propuesta y la validación.

Puntos de Decisión

Árbol de Decisión para la Selección de Arquitectura

Si la tarea tiene criterios de éxito verdaderos (p. ej., navegación, manipulación con objetivos claros)
→ Usar Arquitectura de Modelo Único con evaluación rápida del LLM
→ Costo: Bajo | Precisión: ~75% | Caso de uso: Tareas predeterminadas

Si la tarea requiere descubrimiento abierto de habilidades (p. ej., tareas creativas, exploración)
→ Usar Arquitectura de Doble Proceso (Sistema 1/Sistema 2)
→ Sistema 1: Evaluación rápida del LLM para bucles de entrenamiento
→ Sistema 2: Validación independiente con VLM para admisión en biblioteca
→ Costo: Alto | Precisión: ~76% | Caso de uso: Aprendizaje autónomo

Si se desea un comportamiento complejo de múltiples pasos
→ Descomposición de Misiones de Arriba hacia Abajo
→ Comenzar con una tarea compleja fallida → descomponer en subtareas → aprender requisitos previos faltantes
→ Tasa de éxito: 43.75% frente al 12.50% del encadenamiento de abajo hacia arriba

Si se construye una biblioteca de habilidades desde primitivas
→ Encadenamiento de Habilidades de Abajo hacia Arriba solo si las primitivas están bien alineadas con los objetivos finales
→ Riesgo: Explosión combinatoria y falta de "habilidades intermedias"
→ Alternativa: Cambiar a descomposición de arriba hacia abajo cuando la composición falla

Si el rendimiento se estanca con el enfoque actual
→ Verificar dependencias circulares (mismo modelo que propone y evalúa)
→ Si se detectan: Implementar separación arquitectónica
→ Si no se detectan: Agregar RAG con patrones de habilidades exitosas para destilación de conocimiento ambiental

Tabla de Decisión de Estrategia de Validación

Escenario	Evaluación Rápida (Sistema 1)	Evaluación Lenta (Sistema 2)	Regla de Admisión en Biblioteca
Bucles de entrenamiento	Funciones de éxito generadas por LLM	Ninguna	No aplica
Validación de habilidades	Evaluación LLM	Verificación VLM	Requerir que ambas pasen
Riesgo de contaminación de biblioteca	Alta tolerancia	Tolerancia cero	Anulación del Sistema 2 requerida
Restricciones de costo	Optimizar por velocidad	Optimizar por precisión	Aceptación de costos asimétrica

Modos de Falla

1. Evaluación de Sello de Goma

Síntomas: Altas tasas de éxito reportadas pero baja finalización de tareas, biblioteca creciendo rápidamente
Regla de Detección: Si el mismo modelo genera recompensas Y evalúa el éxito, hay dependencia circular
Causa Raíz: El LLM actuando como jugador y árbitro crea sesgo en la evaluación
Solución: Implementar separación arquitectónica con un validador independiente (p. ej., VLM para tareas visuales)

2. Parálisis por Explosión de Primitivas

Síntomas: Biblioteca grande de habilidades pero incapacidad para resolver tareas complejas, las habilidades no se componen efectivamente
Regla de Detección: Si el número de habilidades crece pero la tasa de éxito en tareas complejas se mantiene plana, hay un problema de "habilidades intermedias"
Causa Raíz: El encadenamiento de abajo hacia arriba no puede descubrir habilidades intermedias entre primitivas y objetivos complejos
Solución: Cambiar a descomposición de misiones de arriba hacia abajo desde comportamientos complejos deseados

3. Desperdicio de RAG sin Contexto

Síntomas: La recuperación de RAG ocurre pero no hay mejora en el rendimiento, tratando la recuperación como ejemplos genéricos
Regla de Detección: Si RAG no mejora el aprendizaje de restricciones (p. ej., comprensión física), es solo un prompting costoso
Causa Raíz: Falta el mecanismo de destilación de conocimiento ambiental
Solución: Estructurar la biblioteca de habilidades como un modelo progresivo de affordances ambientales, no solo como una colección de ejemplos

4. Cascada de Contaminación de Biblioteca

Síntomas: El rendimiento se degrada con el tiempo a medida que la biblioteca crece, los falsos positivos se acumulan
Regla de Detección: Si la admisión en biblioteca usa la misma evaluación que los bucles de entrenamiento, la contaminación se volverá en cascada
Causa Raíz: Las malas habilidades habilitan malas composiciones; los errores de la biblioteca se acumulan de manera diferente al ruido de entrenamiento
Solución: Usar validación independiente costosa para la admisión en biblioteca, evaluación barata solo para entrenamiento

5. Anulación Manual de la Granularidad

Síntomas: Las habilidades se sienten desconectadas de los límites semánticos naturales, niveles de abstracción forzados
Regla de Detección: Si especificar manualmente la granularidad de la habilidad contradice las propuestas del LLM, verificar la alineación del dominio
Causa Raíz: Los LLM codifican límites semánticos de tareas a partir de datos de entrenamiento
Solución: Dejar que el sistema proponga habilidades libremente, observar la granularidad descubierta, ajustar solo para necesidades específicas del dominio

Ejemplos Trabajados

Ejemplo 1: Apertura Robótica de Cajones con Validación de Doble Proceso

Escenario: Un agente debe aprender a abrir varios tipos de cajones sin criterios de éxito predefinidos.

Proceso del Sistema 1 (Rápido):

1. El LLM genera una propuesta de habilidad: "agarrar_manija_cajón"
2. El LLM crea una función de éxito: manija_cajón_agarrada = distancia_pinza < 0.02
3. El entrenamiento de RL usa esta función durante 100 episodios
4. El LLM evalúa: "¡Éxito! La pinza alcanza consistentemente la manija"
5. Punto de decisión: ¿Admitir en biblioteca? NO - requiere Sistema 2

Proceso del Sistema 2 (Lento):

1. El VLM analiza los fotogramas finales de video de los 10 mejores episodios
2. Veredicto del VLM: "La pinza toca la manija pero no mantiene el agarre - los dedos no se cierran"
3. Detección: Falso positivo del Sistema 1 detectado
4. Acción: Rechazar admisión en biblioteca, refinar la función de éxito
5. Iteración: Agregar requisito de presión de agarre a la función de éxito

Experto vs Principiante:

• El principiante pasa por alto: Confía en la autoevaluación del LLM, admite una habilidad mal aprendida
• El experto detecta: El mismo modelo no puede evaluar lo que propuso; necesita validación independiente

Resultado: La biblioteca mantiene una precisión del 76% frente al 46% sin el Sistema 2

Ejemplo 2: Descomposición de Misiones de Arriba hacia Abajo para Tareas de Múltiples Pasos

Escenario: "Preparar café" falla con el encadenamiento de abajo hacia arriba a pesar de tener primitivas como "agarrar_taza", "verter_líquido"

Análisis de Falla de Abajo hacia Arriba:

• Habilidades disponibles: agarrar_taza, verter_líquido, mover_brazo, detectar_objeto
• Intentos de composición: Se probaron las 16 cadenas posibles de 2 habilidades
• Habilidades intermedias faltantes: "alinear_taza_con_pico", "detectar_nivel_líquido", "coordinar_vertido_bimanual"
• Punto de decisión: El enfoque de abajo hacia arriba no puede descubrir estas - no son composiciones de primitivas

Descomposición de Arriba hacia Abajo:

1. Tarea fallida: "preparar_café"
2. Descomponer en: [calentar_agua] → [moler_granos] → [alinear_taza] → [verter_agua] → [agregar_granos]
3. Análisis de brechas: "alinear_taza" falta en la biblioteca
4. Aprendizaje bajo demanda: Aprender "alinear_taza" con estado inicial = estado final de "moler_granos"
5. Encadenamiento: El estado de éxito de cada subtarea se convierte en la condición inicial de la siguiente tarea

Análisis de Compensaciones:

• Abajo hacia arriba: 12.50% de tasa de éxito, explora combinaciones de habilidades innecesarias
• Arriba hacia abajo: 43.75% de tasa de éxito, aprende solo los requisitos previos necesarios
• Costo: Arriba hacia abajo requiere capacidad de descomposición de tareas, abajo hacia arriba requiere exploración exhaustiva

Cuándo Falla el Enfoque de Arriba hacia Abajo:

• Si la descomposición de la tarea es incorrecta, aprende habilidades para subtareas incorrectas
• Si los estados iniciales no se pueden establecer de manera confiable, el encadenamiento se rompe
• Mitigación: Validar la descomposición antes del aprendizaje de habilidades, implementar verificación de configuración de estado

Ejemplo 3: Destilación de Conocimiento Ambiental con RAG

Escenario: Un agente debe aprender habilidades de manipulación en un nuevo entorno sin restricciones físicas explícitas

Sin RAG (25% de tasa de éxito):

1. El LLM genera una recompensa: recompensa = distancia_al_objetivo
2. El agente aprende a acercarse pero no considera los límites de colisión
3. Falla: Sin conocimiento de que la pinza debe estar a 5 cm de la superficie antes de agarrar

Con RAG (46% de tasa de éxito):

1. Recuperar éxito anterior: función de recompensa "alcanzar_cubo_A"
2. Patrón detectado: Todos los alcances exitosos incluyen la restricción altura_pinza > 0.05
3. El LLM incorpora: recompensa = distancia_al_objetivo si altura_pinza > 0.05 de lo contrario -10
4. Conocimiento destilado: Affordance ambiental aprendida implícitamente

Experto vs Principiante:

• El principiante pasa por alto: Trata RAG como provisión de ejemplos, no reconoce el aprendizaje de restricciones
• El experto detecta: RAG permite la destilación de conocimiento ambiental a través del reconocimiento de patrones

Cuándo Falla RAG:

• Si los patrones recuperados son de entornos diferentes, se aprenden restricciones incorrectas
• Si los ejemplos exitosos son demasiado escasos, los patrones no son estadísticamente significativos
• Mitigación: Filtrar la recuperación por similitud de entorno, requerir un tamaño de muestra mínimo para la extracción de patrones

Puertas de Calidad

• La propuesta y la validación utilizan diferentes capacidades del modelo (p. ej., LLM propone, VLM valida)
• Precisión de evaluación rápida >45% y precisión de evaluación lenta >75% medidas en un conjunto de prueba reservado
• La admisión en biblioteca requiere validación independiente, no solo éxito en el bucle de entrenamiento
• La descomposición de tareas complejas genera 3-7 subtareas significativas con un orden de dependencia claro
• La recuperación RAG mejora el aprendizaje de restricciones en >15% sobre la línea base sin RAG
• El análisis de granularidad de habilidades muestra agrupación semántica, no enumeración paramétrica
• El sistema puede detectar y recuperarse de modos de falla de dependencia circular
• Tasa de contaminación de biblioteca <25% verificada mediante evaluación independiente
• La descomposición de arriba hacia abajo supera al encadenamiento de abajo hacia arriba por >2x en tareas complejas
• La destilación de conocimiento ambiental demuestra aprendizaje de restricciones a partir de patrones de éxito

Límites de NO-APLICACIÓN

NO use esta habilidad para:

• Tareas predeterminadas con criterios de éxito conocidos → Use RL estándar con recompensas diseñadas a mano en su lugar
• Tareas de manipulación de un solo paso → Use aprendizaje supervisado con datos de demostración en su lugar
• Tareas que requieren rendimiento en tiempo real → La validación de doble proceso es demasiado lenta; use una biblioteca de habilidades en caché en su lugar
• Dominios sin retroalimentación visual → La validación con VLM no está disponible; diseñe validadores independientes específicos del dominio en su lugar
• Entornos con recursos limitados → La validación del Sistema 2 es costosa; acepte menor precisión o use validación jerárquica

Delegue a estas habilidades en su lugar:

• Ingeniería de recompensas estándar → Para tareas con métricas de éxito claras
• Aprendizaje por imitación → Para tareas con datos de demostración abundantes
• RL jerárquico → Para tareas con descomposición de habilidades conocida
• Meta-aprendizaje → Para adaptación rápida a nuevas distribuciones de tareas
• IA constitucional → Para tareas que requieren alineación de valores y restricciones de seguridad