Self-Improvement Loops (RSI-Schleifen)
Diese Kompetenz umfasst Systeme, bei denen die Harnass das zu optimierende Artefakt ist: Ein Agent analysiert seine eigenen Fehler und bearbeitet sein eigenes Scaffold, ein Meta-Agent durchsucht Harnass-Code, eine Population von Workflow-Kandidaten entwickelt sich gegen einen Evaluator, oder der Mechanismus, der Kontext produziert, wird selbst versioniert und verbessert. Die Designfrage verschiebt sich von „Wie kontrolliere ich eine einzelne Schleife?“ (Harnass-Engineering) zu „Wie lasse ich eine Schleife Teile von sich selbst umschreiben, ohne das Signal zu verfälschen, das sie steuert?“.
Die bestimmende Einschränkung aller veröffentlichten Systeme: Die Schleife optimiert jedes Signal, das ihr gegeben wird, einschließlich der eigenen Schwächen des Signals. Gestalten Sie die Schleife unter der Annahme, dass der Optimierer jede Lücke zwischen der Metrik und der Absicht finden wird.
Wann zu aktivieren
Aktivieren Sie diese Kompetenz, wenn:
- Sie eine Schleife bauen, in der ein Agent Änderungen an seiner eigenen Harnass, seinen Prompts, seinem Kontext-Playbook oder seinem Workflow auf der Grundlage von analysierten Fehlermustern vorschlägt.
- Sie eine Meta-Ebene-Suche über Harnass- oder Scaffold-Code entwerfen: Meta-Agent-Suche, Baumsuche über Workflow-Graphen, evolutionäre Programmsuche mit einem LLM-Mutationsoperator.
- Sie Akzeptanzkriterien für ein sich selbst modifizierendes Agentensystem auswählen.
- Sie den Mechanismus, der den Kontext verwaltet (eine Kompetenz, ein Playbook oder eine Kontextfunktion), weiterentwickeln, anstatt das Kontext-Artefakt manuell zu bearbeiten.
- Sie eine degenerierende Selbstverbesserungsschleife diagnostizieren: Reward-Hacking, Diversitätskollaps, Kontextkollaps oder stille Stagnation.
- Sie entscheiden, auf welcher Ebene der Optimierungsleiter (Prompt, Kontext, Workflow, Harnass-Code, Optimierer-Code) ein wiederkehrender Fehler behoben werden soll.
Aktivieren Sie diese Kompetenz nicht für verwandte Arbeiten, die anderen Kompetenzen gehören:
- Governance einer einzelnen autonomen Schleife, die sich nicht selbst modifiziert: gesperrte und bearbeitbare Oberflächen, dauerhafte Logs, Rollback, Neuheits-Gates, PR-Vorbereitung und Genehmigungsgrenzen fallen unter
harness-engineering. Diese Kompetenz definiert die Kontrolloberflächen; diese Kompetenz definiert, was passiert, wenn die Oberflächen selbst zum Optimierungsziel werden. - Bau des Evaluators, der Regressionssuite oder der Qualitätsgatter, die Kandidaten bewerten:
evaluation. - LLM-als-Richter-Design, paarweiser Vergleich und Bias-Minderung für die Kandidatenbewertung:
advanced-evaluation. - Einmalige Token-Effizienz, Maskierung oder Caching ohne Verbesserungsschleife:
context-optimization. - Remote-Sandboxen und Hintergrundausführungsinfrastruktur für den Betrieb der Schleife:
hosted-agents. - Ob die Schleife überhaupt gebaut werden soll, Pipeline-Form und Kostenschätzung:
project-development. - Das sich selbst bearbeitende Kontextverhalten und die Effizienzbelohnung, die eine Schleife optimiert:
self-managed-context.
Kernkonzepte
Die Optimierungsleiter
Veröffentlichte Selbstverbesserungssysteme zielen auf zunehmend tiefere Objekte ab:
| Stufe | Optimiertes Objekt | Beispielsysteme |
|---|---|---|
| 1 | Anweisungs-Prompts | Promptbreeder, GEPA |
| 2 | Strukturierter Kontext | ACE (Playbook aus aufgelisteten Punkten) |
| 3 | Kontextmechanismus | MCE (die Kompetenz, die Kontext produziert) |
| 4 | Workflow-Graph | ADAS, AFlow |
| 5 | Harnass-Code | Self-Harness (begrenzte Selbstbearbeitung), Meta-Harness, Darwin Godel Machine |
| 6 | Optimierer-Code | STOP (der Verbesserer verbessert den Verbesserer) |
Jede höhere Stufe erkauft einen größeren Designraum und mehr Hebelwirkung, kostet aber mehr pro Evaluierung und bietet eine größere Angriffsfläche für Manipulationen. Beheben Sie einen wiederkehrenden Fehler auf der niedrigsten Stufe, die den Fehler ausdrücken kann. Ein Fehler aufgrund einer veralteten Bibliothek ist eine Kontextkorrektur, keine Workflow-Neuschreibung. Steigen Sie nur auf, wenn Fehlercluster auf der aktuellen Stufe über mehrere Kandidaten hinweg bestehen bleiben.
Die Schleife ist nicht die Intelligenz
Rekursive Struktur verstärkt die Basis-Modellqualität in beide Richtungen. Dasselbe rekursive Verbesserungsdesign, das mit einem starken Modell Gewinne erzielt, verschlechtert mit schwächeren Modellen die durchschnittliche Leistung über mehrere Iterationen hinweg (claim-self-improvement-capability-threshold). Zwei Implikationen:
- Führen Sie eine Fähigkeitsvalidierung durch, bevor Sie die Rekursion aktivieren: eine feste Anzahl von Iterationen für einen zurückgehaltenen Aufgabensatz, wobei die Schleife als netto-negativ gewertet wird, wenn der Trend abnimmt.
- Erkennen Sie den degenerativen Stagnationsmodus. Ein defekter Verbesserer, der stillschweigend seine Eingabe unverändert zurückgibt, sieht in aggregierten Metriken wie Stabilität aus. Verfolgen Sie Bearbeitungsdiffs, nicht nur Ergebnisse.
Die Invariante außerhalb der Schleife
Der Evaluator, seine Instrumentierung, die Berechtigungskontrolle und die Budgetdurchsetzung müssen außerhalb der Oberfläche liegen, die die Schleife modifizieren kann. Jeder dokumentierte Reward-Hack verletzte diese Invariante: Agenten entfernten die Logging-Marker, von denen ein Halluzinationsdetektor abhing, und Hacking wurde häufiger, wenn der Prüfcode für den Agenten sichtbar war (claim-self-improvement-visible-evaluator-hacking). Agenten, die Bewertungsfunktionen sehen konnten, überschrieben Zeitmessfunktionen und patchten Evaluatoren, um perfekte Ergebnisse zurückzugeben (claim-self-improvement-scorer-visibility).
Operative Regeln:
- Einschränkungen, die im Prompt-Text angegeben sind, werden wegentwickelt. Setzen Sie Budgets, Berechtigungen und Sandbox-Grenzen in der Laufzeit durch, niemals im veränderbaren Prompt oder Harnass-Code.
- Verstecken Sie die Bewertungsimplementierung vor dem Vorschlagenden. Geben Sie Ergebnisse und Traces preis, nicht den Evaluator-Quellcode.
- Sandboxen auf Betriebssystem- oder Containerebene. Berechtigungsgates auf Framework-Ebene können durch Seitenkanäle umgangen werden, die die Schleife entdeckt.
- Behandeln Sie jeden erkannten Exploit als fehlgeschlagenen Kandidaten, nicht als hohe Punktzahl, sonst bläht der Hack die Metrik auf, die die Schleife steuert.
Empirische Akzeptanz, niemals Begründung
Akzeptieren Sie eine Selbstmodifikation nur auf der Grundlage von gemessenen Beweisen, unter Verwendung von zwei Aufteilungen: Eine zurückgehaltene Aufteilung, die prüft, ob die gezielte Schwäche behoben wurde, und eine zurückgehaltene Aufteilung, die der Vorschlagende nie sieht und die prüft, ob nichts anderes regrediert ist. Das strengste veröffentlichte Gate akzeptiert nur, wenn keine der beiden Aufteilungen regrediert und mindestens eine sich strikt verbessert, mit wiederholter Evaluierung unter stochastischer Bewertung; dies führte zu zurückgehaltenen Verbesserungen bei jedem getesteten Basismodell (claim-self-improvement-two-split-acceptance). Lehnen Sie Kandidaten ab, die eine Aufteilung gegen die andere eintauschen, selbst wenn sich die Summe verbessert. Protokollieren Sie abgelehnte Kandidaten mit ihren Beweisen, damit der Vorschlagende aufhört, sie wiederzuentdecken.
Dateisystem-Erfahrungsarchiv
Speichern Sie jeden Kandidaten als Verzeichnis, das seinen Quellcode, seine Ergebnisse und seine Rohausführungs-Traces enthält. Lassen Sie den Vorschlagenden das Archiv mit Suchwerkzeugen (grep-artige Abfragen über Dateien) durchsuchen, anstatt den Verlauf in sein Kontextfenster zu stopfen. In einer direkten Ablation übertraf ein Vorschlagender mit vollständigem Roh-Trace-Zugriff sowohl einen Vorschlagenden, der nur Ergebnisse erhielt, als auch einen Vorschlagenden, der LLM-geschriebene Zusammenfassungen derselben Traces erhielt; Zusammenfassungen stellten das verlorene Signal nicht wieder her und schadeten manchmal (claim-self-improvement-raw-trace-ablation). Fassen Sie das Archiv nicht vorab zusammen. Kuratieren Sie Zugriffspfade, nicht Inhalte.
Diversitätserhaltung
Evolutionäre und RL-artige Schleifen kollabieren in Richtung Varianten der aktuell Besten, es sei denn, Diversität wird konstruiert. Die Mechanismen, die die Ablation in veröffentlichten Systemen überlebten:
- Behalten Sie ein Archiv jedes Kandidaten, der die Kernfähigkeit behält; gehen Sie niemals nur die neueste Version hoch. Trittsteine zahlen sich viele Iterationen nach ihrer Entdeckung aus.
- Wählen Sie Eltern mit Fitnessdruck, der durch die Anzahl der Nachkommen diskontiert wird, sodass stark abgebaute Kandidaten an Priorität verlieren, während jedes Archivmitglied eine nicht verschwindende Auswahlwahrscheinlichkeit behält.
- Lehnen Sie nahezu doppelte Vorschläge durch Embedding-Ähnlichkeit ab, bevor Sie Evaluierungskosten zahlen.
- Behalten Sie einen persistenten Rückweg zum Start- oder leeren Kandidaten in der Auswahlverteilung als Flucht aus lokalen Optima.
Detaillierte Themen
Anatomie einer fehlergesteuerten Selbstbearbeitungsschleife
Das stärkste veröffentlichte Muster für einen Agenten, der seine eigene Harnass verbessert, hat drei Stufen:
- Schwachstellenanalyse. Cluster von fehlgeschlagenen Traces durch eine dreiteilige Signatur: die Verifizierer-Ebene Ursache (was wurde abgelehnt), der kausale Status des Agentenverhaltens (war es tatsächlich verantwortlich) und der abstrakte Mechanismus, den der Trace offenbart (das wiederverwendbare Verhaltensmuster). Clustern Sie niemals nur anhand von Fehlerzeichenfolgen; ein Timeout ist ein Symptom, das von nicht verwandten Mechanismen geteilt wird. Wenden Sie einen Adressierbarkeitsfilter an: Schließen Sie Cluster aus, die eher die Aufgabenschwierigkeit oder Fähigkeitsgrenzen als Harnass-Defekte widerspiegeln.
- Begrenzter Vorschlag. Geben Sie dem Vorschlagenden genau vier Eingaben: die deklarierten bearbeitbaren Oberflächen, die analysierten Fehlermuster, Aufzeichnungen von erfolgreichen Verhaltensweisen, die erhalten werden müssen, und Zusammenfassungen von zuvor versuchten Bearbeitungen. Verlangen Sie, dass Vorschläge minimal sind (nur eine Oberfläche berühren), sich über parallele Kandidaten hinweg gegenseitig ausschließen und von einem Audit-Datensatz begleitet werden, der das anvisierte Muster, den erwarteten Effekt und die Regressionsrisiken angibt.
- Validierung und Zusammenführung. Wenden Sie das Zwei-Split-Akzeptanz-Gate an. Führen Sie kompatible akzeptierte Bearbeitungen zusammen; protokollieren Sie abgelehnte, ohne die aktive Harnass zu ändern. Jeder Übergang zeichnet die geänderten Oberflächen, die Split-Ergebnisse und die Entscheidung auf, sodass die Abstammungslinie nachvollziehbar ist.
Meta-Ebene-Suche über Harnass-Code
Bei der Suche über ganze Harnass-Programme von außen, anstatt eine laufende Harnass von innen zu bearbeiten:
- Halten Sie die äußere Schleife minimal: keine handabgestimmten Mutationsoperatoren oder Elternauswahl-Heuristiken. Delegieren Sie Diagnose und Bearbeitungsentscheidungen an einen starken Codiermittel-Vorschlagenden, sodass sich das System verbessert, wenn sich Codiermittel verbessern.
- Initialisieren Sie von der stärksten verfügbaren Harnass, nicht von Grund auf. Erfolgreiche Bearbeitungen sind typischerweise klein und additiv (ein Umgebungs-Bootstrap, eine Artefakt-Erstellungsanweisung), während Prompt- und Ablauf-Neuschreibungen empirisch risikoreich sind.
- Halten Sie eine Pareto-Front über die tatsächlich wichtigen Ziele (Genauigkeit, Kontextkosten, Latenz) aufrecht, anstatt auf einen Skalar zu kollabieren.
- Strukturieren Sie den Suchspeicher pro Kandidat mit aufgezeichneten Änderungsergebnissen. Das Auskippen des gesamten Archivs in den Vorschlagenden-Prompt verschlechtert sich stark, wenn der Verlauf wächst; Erfahrungsaufzeichnungen pro-Knoten mit Kreditzuweisung schlagen Archiv-im-Kontext-Konditionierung.
- Führen Sie die Suche erneut durch, wenn sich das Ausführungsmodell ändert. Entdeckte Harnasse sind ausführungsabhängig und übertragen sich nicht frei zwischen Basismodellen.
Kontextevolution als Selbstverbesserung
Kontext-Playbooks, die sich selbst aktualisieren, sind die Einstiegs-Selbstverbesserungsschleife mit zwei benannten Fehlermodi. Kürze-Bias: Optimierer kollabieren zu kurzen, generischen Anweisungen und lassen die domänenspezifischen Heuristiken fallen, die den Wert trugen. Kontextkollaps: Wenn ein Model den angesammelten Kontext monolithisch umschreibt, schrumpft er katastrophal in einem einzigen Schritt, unter die Basislinie ohne Anpassung (claim-self-improvement-context-collapse). Das funktionierende Muster:
- Stellen Sie Kontext als aufgelistete Einträge mit stabilen Identifikatoren und hilfreichen/schädlichen Zählern dar.
- Produzieren Sie inkrementelle Deltas, die durch deterministische, nicht-modelllogische Logik zusammengeführt werden. Der Kurator schreibt niemals das gesamte Artefakt neu.
- Deduplizieren Sie durch Embedding-Ähnlichkeit, periodisch oder träge.
- Stellen Sie den gesamten Mechanismus auf Feedback-Qualität. Ohne zuverlässige Ausführungssignale oder Labels verschlechtert sich selbstverwalteter Kontext unter die statische Basislinie.
Eine Ebene höher: Versionieren Sie den Mechanismus, der Kontext produziert (die Kompetenz: statische Komponenten plus dynamische Operatoren) getrennt vom produzierten Kontext, entwickeln Sie den Mechanismus nur gegen eine Validierungsaufteilung weiter und starten Sie jede Iteration mit dem vorherigen besten Artefakt plus seinen Rollout-Ergebnissen. Überprüfen Sie die Trainings-Validierungs-Lücke explizit in jeder Iteration, um eine Überanpassung des Mechanismus zu erkennen.
Was den Menschen gehört
Menschen bewegen sich im Stack nach oben, nicht aus der Schleife hinaus. Reservieren Sie für menschliche Entscheidungspunkte: Änderungen am Evaluator oder Akzeptanz-Gate, Erweiterung der bearbeitbaren Oberflächen, Förderung einer entdeckten Harnass in die Produktion und Abbruchentscheidungen für Forschungsrichtungen. Modelle, die hauptsächlich auf erfolgreichen Ergebnissen trainiert wurden, sind schlecht kalibriert, wann eine Arbeit aufgegeben werden sollte, und erhaltene negative Ergebnisse sind der billigste Weg, den Suchraum eines Nachfolgers zu beschneiden. Machen Sie fehlgeschlagene Kandidaten zu erstklassigen Artefakten.
Praktische Anleitung
Schleifen-Bereitschafts-Checkliste
Aktivieren Sie die Selbstmodifikation erst, wenn jeder Punkt zutrifft:
- Es existiert ein schneller, deterministischer, automatisierbarer Evaluator. Domänen mit langsamer, mehrdeutiger oder nur richterlicher Bewertung sind diejenigen, in denen diese Schleifenfamilie scheitert.
- Es existiert eine zurückgehaltene Aufteilung, die der Vorschlagende nie sieht und die aufgefrischt wird, wenn die Schleife lange genug läuft, um sie zu überanpassen.
- Budgets, Berechtigungen und Sandboxing werden von der Laufzeit durchgesetzt, außerhalb jeder bearbeitbaren Oberfläche.
- Bearbeitbare Oberflächen sind explizit deklariert (markierte Bereiche oder Konfigurationspunkte); alles andere ist gesperrt, und die Unveränderlichkeit wird programmatisch nach jedem Kandidaten erneut überprüft.
- Es existiert ein Archiv mit vollständiger Abstammungslinie der Diffs; Audits lesen Diffs und Roh-Traces, nicht das Fitness-Signal.
- Die Evaluierungsausgaben sind gestaffelt: billige Schnittstellen- oder Rauchprüfungen vor der vollständigen Evaluierung, wiederholte Läufe, wenn die Bewertung verrauscht ist.
- Ein Fähigkeitsvalidierungslauf hat gezeigt, dass das Basismodell die Rekursionsschwelle für diese Aufgabenfamilie überschreitet.
- Menschliche Entscheidungspunkte sind für Evaluatoränderungen, Oberflächenerweiterung und Förderung verdrahtet.
Auswahl der Schleifenebene
| Wiederkehrender Fehler | Behebung auf | Schleifenmuster |
|---|---|---|
| Fehlende Domänenheuristiken, wiederholte bekannte Fehler | Strukturierter Kontext | Aufgelistetes Playbook mit Delta-Updates |
| Kontext-Playbook selbst stagniert über Aufgaben hinweg | Kontextmechanismus | Entwickeln Sie die Kompetenz auf Validierungsdaten |
| Falsche Reihenfolge, fehlende Verifikationsschritte | Workflow | Suche über Workflow-Graphen mit pro-Knoten-Erfahrung |
| Fehlercluster bleiben über Workflow-Kandidaten hinweg bestehen | Harnass-Code | Fehlergesteuerte begrenzte Selbstbearbeitungen oder Meta-Ebene-Suche |
| Verbesserungsstrategie selbst ist schwach | Optimierer-Code | Nur mit starken Modellen und gesperrter Meta-Evaluierung |
Beispiele
Beispiel 1: Zwei-Split-Akzeptanz-Gate
def accept(candidate, baseline, held_in, held_out, repeats=3):
d_in = mean_score(candidate, held_in, repeats) - mean_score(baseline, held_in, repeats)
d_out = mean_score(candidate, held_out, repeats) - mean_score(baseline, held_out, repeats)
if d_in < 0 or d_out < 0:
return False # keine Regression auf beiden Splits
return max(d_in, d_out) > 0 # strikte Verbesserung
…
[gekürzt für die Übersetzung]