Bucles de Automejora
Esta habilidad cubre sistemas donde el arnés es el artefacto que se optimiza: un agente extrae sus propios fallos y edita su propio andamio, un meta-agente busca sobre el código del arnés, una población de candidatos de flujo de trabajo evoluciona contra un evaluador, o el mecanismo que produce el contexto es versionado y mejorado. La pregunta de diseño cambia de "¿cómo controlo un bucle?" (ingeniería de arnés) a "¿cómo permito que un bucle reescriba partes de sí mismo sin corromper la señal que lo guía?".
La restricción controladora en todos los sistemas publicados: el bucle optimiza cualquier señal que se le dé, incluyendo las propias debilidades de la señal. Diseñe el bucle asumiendo que el optimizador encontrará cada brecha entre la métrica y la intención.
Cuándo Activarlo
Active esta habilidad cuando:
- Construya un bucle donde un agente propone ediciones a su propio arnés, prompts, libro de jugadas de contexto o flujo de trabajo basado en patrones de fallo extraídos.
- Diseñe búsqueda de meta-nivel sobre el código del arnés o del andamio: búsqueda de meta-agente, búsqueda de árbol sobre gráficos de flujo de trabajo, búsqueda de programas evolutivos con un operador de mutación LLM.
- Elija criterios de aceptación para cualquier sistema de agente auto-modificable.
- Evolucione el mecanismo que gestiona el contexto (una habilidad, un libro de jugadas o una función de contexto) en lugar de editar manualmente el artefacto de contexto.
- Diagnostique un bucle de automejora degenerante: hackeo de recompensas, colapso de diversidad, colapso de contexto o estancamiento silencioso.
- Decida en qué nivel de la escalera de optimización (prompt, contexto, flujo de trabajo, código del arnés, código del optimizador) se debe corregir un fallo recurrente.
No active esta habilidad para trabajo adyacente propiedad de otras habilidades:
- Gobernanza de un único bucle autónomo que no se modifica a sí mismo: superficies bloqueadas y editables, registros duraderos, reversión, compuertas de novedad, preparación de PR y límites de aprobación humana pertenecen a
ingeniería-de-arnés. Esa habilidad define las superficies de control; esta habilidad define lo que sucede cuando las superficies mismas se convierten en el objetivo de optimización. - Construir el evaluador, el conjunto de regresión o las compuertas de calidad que puntúan candidatos:
evaluación. - Diseño de LLM como juez, comparación por pares y mitigación de sesgos para la puntuación de candidatos:
evaluación-avanzada. - Eficiencia de tokens de un solo uso, enmascaramiento o almacenamiento en caché sin un bucle de mejora:
optimización-de-contexto. - Espacios aislados remotos e infraestructura de ejecución en segundo plano para ejecutar el bucle:
agentes-alojados. - Si construir el bucle en absoluto, forma del pipeline y estimación de costos:
desarrollo-de-proyecto. - El comportamiento de contexto auto-editable y la recompensa de eficiencia que optimiza un bucle:
contexto-autogestionado.
Conceptos Centrales
La Escalera de Optimización
Los sistemas de automejora publicados apuntan a objetos progresivamente más profundos:
| Peldaño | Objeto optimizado | Sistemas de ejemplo |
|---|---|---|
| 1 | Instrucciones de prompt | Promptbreeder, GEPA |
| 2 | Contexto estructurado | ACE (libro de jugadas de viñetas detalladas) |
| 3 | Mecanismo de contexto | MCE (la habilidad que produce el contexto) |
| 4 | Gráfico de flujo de trabajo | ADAS, AFlow |
| 5 | Código del arnés | Self-Harness (auto-ediciones acotadas), Meta-Harness, Darwin Godel Machine |
| 6 | Código del optimizador | STOP (el mejorador mejora al mejorador) |
Cada peldaño hacia arriba compra un espacio de diseño más grande y más apalancamiento, y cuesta más por evaluación con una superficie más grande para jugar. Corrija un fallo recurrente en el peldaño más bajo que pueda expresar la corrección. Un fallo de biblioteca obsoleta es una corrección de contexto, no una reescritura del flujo de trabajo. Solo suba cuando los fallos se agrupen en el peldaño actual y persistan entre candidatos.
El Bucle No Es la Inteligencia
La estructura recursiva amplifica la calidad del modelo base en ambas direcciones. El mismo diseño de mejorador recursivo que acumula ganancias con un modelo fuerte degrada el rendimiento medio a través de iteraciones con modelos más débiles (claim-self-improvement-capability-threshold). Dos implicaciones:
- Ejecute una validación de capacidad antes de habilitar la recursión: un número fijo de iteraciones en un conjunto de tareas separadas, con el bucle contado como neto-negativo si la trayectoria disminuye.
- Detecte el modo de estancamiento degenerativo. Un mejorador roto que devuelve su entrada sin cambios silenciosamente parece estabilidad en métricas agregadas. Rastree diffs de ediciones, no solo puntuaciones.
El Invariante Fuera del Bucle
El evaluador, su instrumentación, el control de permisos y la ejecución del presupuesto deben vivir fuera de la superficie que el bucle puede modificar. Cada hackeo de recompensa documentado violó este invariante: los agentes eliminaron los marcadores de registro de los que dependía un detector de alucinaciones, y los hackeos se volvieron más frecuentes cuando el código de verificación era visible para el agente (claim-self-improvement-visible-evaluator-hacking). Los agentes que veían las funciones de puntuación sobrescribían las funciones de tiempo y parcheaban los evaluadores para que devolvieran puntuaciones perfectas (claim-self-improvement-scorer-visibility).
Reglas operativas:
- Las restricciones declaradas en el texto del prompt se evolucionan. Haga cumplir los presupuestos, permisos y límites del espacio aislado en el tiempo de ejecución, nunca en el prompt mutable o el código del arnés.
- Oculte la implementación de la puntuación del proponente. Exponga puntuaciones y trazas, no el código fuente del evaluador.
- Aísle en el nivel del sistema operativo o del contenedor. Las compuertas de permisos a nivel de marco pueden ser eludidas a través de canales laterales que el bucle descubre.
- Trate cualquier exploit detectado como un candidato fallido, no como una puntuación alta, o el hackeo infla la misma métrica que guía el bucle.
Aceptación Empírica, Nunca Racional
Acepte una auto-modificación solo con evidencia medida, utilizando dos divisiones: una división retenida que verifica que la debilidad objetivo fue resuelta, y una división separada que el proponente nunca ve y que verifica que nada más ha retrocedido. La compuerta de aceptación más estricta publicada acepta solo cuando ninguna división retrocede y al menos una mejora estrictamente, con evaluación repetida bajo puntuación estocástica; esto produjo ganancias en la división separada en todos los modelos base probados (claim-self-improvement-two-split-acceptance). Rechace candidatos que intercambien una división por la otra incluso cuando la suma mejore. Registre los candidatos rechazados con su evidencia para que el proponente deje de redescubrirlos.
Archivo de Experiencia del Sistema de Archivos
Almacene cada candidato como un directorio que contenga su código fuente, puntuaciones y trazas de ejecución sin procesar. Permita que el proponente navegue por el archivo con herramientas de búsqueda (consultas de estilo grep sobre archivos) en lugar de meter el historial en su ventana de contexto. En ablación directa, un proponente con acceso completo a trazas sin procesar superó materialmente tanto a un proponente solo de puntuaciones como a un proponente alimentado con resúmenes escritos por LLM de las mismas trazas; los resúmenes no recuperaron ninguna de las señales perdidas y a veces perjudicaron (claim-self-improvement-raw-trace-ablation). No pre-resuma el archivo. Cure las rutas de acceso, no el contenido.
Preservación de la Diversidad
Los bucles evolutivos y de estilo RL colapsan hacia variantes del mejor actual a menos que la diversidad esté diseñada. Los mecanismos que sobrevivieron a la ablación en todos los sistemas publicados:
- Mantenga un archivo de cada candidato que retenga la capacidad central; nunca suba la colina solo la última versión. Las piedras de paso rinden frutos muchas iteraciones después de ser descubiertas.
- Seleccione padres con presión de aptitud descontada por el recuento de descendencia, de modo que los candidatos muy explotados pierdan prioridad mientras que cada miembro del archivo mantenga una probabilidad de selección no nula.
- Rechace propuestas casi duplicadas por similitud de incrustación antes de pagar el costo de evaluación.
- Mantenga una ruta persistente de regreso a la semilla o al candidato en blanco en la distribución de selección como escape de óptimos locales.
Temas Detallados
Anatomía de un Bucle de Auto-Edición Impulsado por Fallos
El patrón publicado más fuerte para que un agente mejore su propio arnés tiene tres etapas:
- Extracción de debilidades. Agrupe las trazas fallidas por una firma de tres partes: la causa a nivel de verificador (qué fue rechazado), el estado causal del comportamiento del agente (si realmente fue responsable) y el mecanismo abstracto que la traza expone (el patrón de comportamiento reutilizable). Nunca agrupe solo por cadenas de error; un tiempo de espera es un síntoma compartido por mecanismos no relacionados. Aplique un filtro de direccionabilidad: excluya grupos que reflejen la dificultad de la tarea o los límites de capacidad en lugar de defectos del arnés.
- Propuesta acotada. Dé al proponente exactamente cuatro entradas: las superficies editables declaradas, los patrones de fallo extraídos, los registros de comportamientos exitosos que deben preservarse y los resúmenes de ediciones intentadas previamente. Exija que las propuestas sean mínimas (toquen una superficie), mutuamente distintas entre candidatos paralelos y acompañadas de un registro de auditoría que indique el patrón objetivo, el efecto esperado y los riesgos de regresión.
- Validación y fusión. Aplique la compuerta de aceptación de dos divisiones. Fusione las ediciones aceptadas compatibles; registre las rechazadas sin cambiar el arnés activo. Cada transición registra las superficies cambiadas, los resultados de la división y la decisión, de modo que el linaje sea auditable.
Búsqueda de Meta-Nivel sobre Código del Arnés
Cuando se buscan programas completos de arnés desde fuera en lugar de editar un arnés en ejecución desde dentro:
- Mantenga el bucle externo mínimo: sin operadores de mutación ajustados a mano ni heurísticas de selección de padres. Delegue las decisiones de diagnóstico y edición a un proponente de agente de codificación fuerte, para que el sistema mejore a medida que mejoran los agentes de codificación.
- Inicialice desde el arnés más fuerte disponible, no desde cero. Las ediciones ganadoras suelen ser pequeñas y aditivas (un arranque de entorno, una instrucción de creación de artefactos), mientras que las reescrituras de flujo de prompt y finalización son empíricamente de alto riesgo.
- Mantenga una frontera de Pareto sobre los objetivos que realmente importan (precisión, costo de contexto, latencia) en lugar de colapsar a un escalar.
- Estructure la memoria de búsqueda por candidato con resultados de modificación registrados. Volcar todo el archivo en el prompt del proponente se degrada bruscamente a medida que crece el historial; los registros de experiencia por nodo con asignación de crédito superan al condicionamiento del archivo en contexto.
- Vuelva a ejecutar la búsqueda cuando cambie el modelo de ejecución. Los arneses descubiertos dependen del ejecutor y no se transfieren libremente entre modelos base.
Evolución del Contexto como Automejora
Los libros de jugadas de contexto que se actualizan a sí mismos son el bucle de automejora de nivel de entrada, con dos modos de fallo nombrados. Sesgo de brevedad: los optimizadores colapsan hacia instrucciones genéricas cortas, dejando caer las heurísticas específicas del dominio que llevaban el valor. Colapso de contexto: permitir que un modelo reescriba monolíticamente el contexto acumulado lo encoge catastróficamente en un solo paso, por debajo de la línea base sin adaptación (claim-self-improvement-context-collapse). El patrón de trabajo:
- Represente el contexto como entradas detalladas con identificadores estables y contadores de útil/perjudicial.
- Produzca deltas incrementales, fusionados por lógica determinista no basada en modelos. El curador nunca reescribe todo el artefacto.
- Deduplique por similitud de incrustación, periódicamente o de forma perezosa.
- Bloquee todo el mecanismo en la calidad de la retroalimentación. Sin señales de ejecución confiables o etiquetas, el contexto autogestionado se degrada por debajo de la línea base estática.
Un nivel más arriba, versionee el mecanismo que produce el contexto (la habilidad: componentes estáticos más operadores dinámicos) por separado del contexto producido, evolucione el mecanismo contra una división de validación solo e inicie en caliente cada iteración desde el mejor artefacto anterior más sus resultados de implementación. Verifique la brecha entrenamiento-validación explícitamente cada iteración para detectar sobreajuste del mecanismo.
Lo Que Pertenece a los Humanos
Los humanos suben en la pila en lugar de salir del bucle. Reserve para puntos de decisión humana: cambios en el evaluador o la compuerta de aceptación, expansión de superficies editables, promoción de un arnés descubierto a producción y decisiones de abandono para direcciones de investigación. Los modelos entrenados principalmente en resultados exitosos están mal calibrados en cuándo abandonar una línea de trabajo, y los resultados negativos preservados son la forma más barata de recortar el espacio de búsqueda de un sucesor. Haga de los candidatos fallidos artefactos de primera clase.
Guía Práctica
Lista de Verificación de Preparación del Bucle
No habilite la auto-modificación hasta que se cumpla cada elemento:
- Existe un evaluador rápido, determinista y automatizable. Los dominios con evaluación lenta, ambigua o solo de juez son donde esta familia de bucles falla.
- Existe una división separada que el proponente nunca ve, actualizada si el bucle se ejecuta el tiempo suficiente para sobreajustarla.
- Los presupuestos, permisos y el aislamiento se aplican por el tiempo de ejecución, fuera de cada superficie editable.
- Las superficies editables están declaradas explícitamente (regiones marcadas o puntos de configuración); todo lo demás está bloqueado, y la inmutabilidad se verifica programáticamente después de cada candidato.
- Existe un archivo con linaje completo de diffs; las auditorías leen diffs y trazas sin procesar, no la señal de aptitud.
- El gasto de evaluación se escalona: comprobaciones de interfaz o humo baratas antes de la evaluación completa, ejecuciones repetidas donde la puntuación es ruidosa.
- Una ejecución de validación de capacidad ha mostrado que el modelo base supera el umbral de recursión en esta familia de tareas.
- Los puntos de decisión humana están cableados para cambios de evaluador, expansión de superficie y promoción.
Elegir el Nivel del Bucle
| Falla recurrente | Corregir en | Patrón de bucle |
|---|---|---|
| Heurísticas de dominio faltantes, errores conocidos repetidos | Contexto estructurado | Libro de jugadas detallado con actualizaciones delta |
| El libro de jugadas de contexto se estanca entre tareas | Mecanismo de contexto | Evolucione la habilidad en datos de validación |
| Secuenciación incorrecta, pasos de verificación faltantes | Flujo de trabajo | Búsqueda sobre gráficos de flujo de trabajo con experiencia por nodo |
| Los grupos de fallos persisten entre candidatos de flujo de trabajo | Código del arnés | Auto-ediciones acotadas impulsadas por fallos o búsqueda de meta-nivel |
| La estrategia de mejora en sí misma es débil | Código del optimizador | Solo con modelos fuertes y meta-evaluación bloqueada |
Ejemplos
Ejemplo 1: Compuerta de aceptación de dos divisiones
def accept(candidate, baseline, held_in, held_out, repeats=3):
d_in = mean_score(candidate, held_in, repeats) - mean_score(baseline, held_in, repeats)
d_out = mean_score(candidate, held_out, repeats) - mean_score(baseline, held_out, repeats)
if d_in < 0 or d_out < 0:
return False # no regression on either split
return max(d_in, d_out) > 0 # strict improv
...