curiositech/windags-skills

Agentische Fähigkeitsentdeckung (Agentic Skill Discovery)

Version: 1.0
Bereich: Autonome Lernsysteme, KI-Architektur, Verstärkendes Lernen

Kernkonzept

Die autonome Fähigkeitsentdeckung löst das Henne-Ei-Problem: zu lernen, was Erfolg ausmacht, während man lernt, wie man ihn erreicht. Das System muss gleichzeitig Schüler und Lehrer sein, was zirkuläre Abhängigkeiten erzeugt, die eine architektonische Trennung von Vorschlag und Validierung erfordern.

Entscheidungspunkte

Entscheidungsbaum zur Architekturauswahl

Wenn die Aufgabe objektive Erfolgskriterien hat (z. B. Navigation, Manipulation mit klaren Zielen)
→ Verwende Single-Model-Architektur mit schneller LLM-Bewertung
→ Kosten: Niedrig | Präzision: ~75 % | Anwendungsfall: Vorgegebene Aufgaben

Wenn die Aufgabe eine offene Fähigkeitsentdeckung erfordert (z. B. kreative Aufgaben, Erkundung)
→ Verwende Dual-Process-Architektur (System 1/System 2)
→ System 1: Schnelle LLM-Bewertung für Trainingsschleifen
→ System 2: Unabhängige VLM-Validierung für die Aufnahme in die Bibliothek
→ Kosten: Hoch | Präzision: ~76 % | Anwendungsfall: Autonomes Lernen

Wenn komplexes mehrschrittiges Verhalten gewünscht ist
→ Top-Down-Quest-Zerlegung
→ Beginne mit einer fehlgeschlagenen komplexen Aufgabe → zerlege sie in Teilaufgaben → lerne fehlende Voraussetzungen
→ Erfolgsrate: 43,75 % gegenüber 12,50 % bei Bottom-Up-Verkettung

Wenn die Fähigkeitsbibliothek aus Primitiven aufgebaut wird
→ Bottom-Up-Fähigkeitsverkettung nur, wenn die Primitiven gut auf die Endziele abgestimmt sind
→ Risiko: Kombinatorische Explosion und Fehlen von „mittleren Fähigkeiten“
→ Ausweichlösung: Umschalten auf Top-Down, wenn die Komposition fehlschlägt

Wenn die Leistung mit dem bestehenden Ansatz stagniert
→ Überprüfe auf zirkuläre Abhängigkeiten (gleiches Modell, das vorschlägt und bewertet)
→ Wenn erkannt: Implementiere architektonische Trennung
→ Wenn nicht erkannt: Füge RAG mit erfolgreichen Fähigkeitsmustern zur Wissensdestillation aus der Umgebung hinzu

Entscheidungstabelle zur Validierungsstrategie

Szenario	Schnelle Bewertung (System 1)	Langsame Bewertung (System 2)	Aufnahmeregel für die Bibliothek
Trainingsschleifen	LLM-generierte Erfolgsfunktionen	Keine	Nicht anwendbar
Fähigkeitsvalidierung	LLM-Bewertung	VLM-Überprüfung	Beide müssen bestehen
Kontaminationsrisiko der Bibliothek	Hohe Toleranz	Keine Toleranz	System-2-Übersteuerung erforderlich
Kostenbeschränkungen	Auf Geschwindigkeit optimieren	Auf Genauigkeit optimieren	Asymmetrische Kostenakzeptanz

Fehlermodi

1. Abnickende Bewertung (Rubber Stamp Evaluation)

Symptome: Hohe gemeldete Erfolgsraten, aber schlechte Aufgabenerfüllung; die Bibliothek wächst schnell
Erkennungsregel: Wenn dasselbe Modell Belohnungen generiert UND Erfolg bewertet, liegt eine zirkuläre Abhängigkeit vor
Ursache: Ein LLM, das sowohl Spieler als auch Schiedsrichter ist, erzeugt Bewertungsverzerrung
Behebung: Implementiere architektonische Trennung mit unabhängigem Validator (z. B. VLM für visuelle Aufgaben)

2. Lähmung durch Primitivexplosion (Primitive Explosion Paralysis)

Symptome: Große Fähigkeitsbibliothek, aber Unfähigkeit, komplexe Aufgaben zu lösen; Fähigkeiten lassen sich nicht effektiv kombinieren
Erkennungsregel: Wenn die Anzahl der Fähigkeiten wächst, aber die Erfolgsrate bei komplexen Aufgaben stagniert, liegt das Problem „fehlender mittlerer Fähigkeiten“ vor
Ursache: Bottom-Up-Verkettung kann Fähigkeiten zwischen Primitiven und komplexen Zielen nicht entdecken
Behebung: Wechsle zur Top-Down-Quest-Zerlegung ausgehend von gewünschten komplexen Verhaltensweisen

3. Kontextfreie RAG-Verschwendung (Context-Free RAG Waste)

Symptome: RAG-Abruf findet statt, aber keine Leistungsverbesserung; der Abruf wird als generische Beispiele behandelt
Erkennungsregel: Wenn RAG das Erlernen von Randbedingungen (z. B. Physikverständnis) nicht verbessert, ist es nur teures Prompting
Ursache: Es fehlt der Mechanismus zur Wissensdestillation aus der Umgebung (Environmental Knowledge Distillation)
Behebung: Strukturiere die Fähigkeitsbibliothek als progressives Modell der Umgebungsaffordanzen, nicht nur als Beispielsammlung

4. Kontaminationskaskade der Bibliothek (Library Contamination Cascade)

Symptome: Die Leistung verschlechtert sich mit der Zeit, während die Bibliothek wächst; Fehlalarme häufen sich
Erkennungsregel: Wenn die Bibliotheksaufnahme dieselbe Bewertung wie die Trainingsschleifen verwendet, wird die Kontamination kaskadieren
Ursache: Schlechte Fähigkeiten ermöglichen schlechte Kompositionen; Fehler in der Bibliothek wirken sich kumulativ aus, anders als Trainingsrauschen
Behebung: Verwende teure unabhängige Validierung für die Bibliotheksaufnahme, kostengünstige Bewertung nur für das Training

5. Manuelle Granularitätsüberschreibung (Manual Granularity Override)

Symptome: Fähigkeiten wirken losgelöst von natürlichen semantischen Grenzen; erzwungene Abstraktionsebenen
Erkennungsregel: Wenn die manuelle Festlegung der Fähigkeitsgranularität im Widerspruch zu LLM-Vorschlägen steht, überprüfe die Bereichsausrichtung
Ursache: LLMs kodieren semantische Aufgabengrenzen aus den Trainingsdaten
Behebung: Lasse das System Fähigkeiten frei vorschlagen, beobachte die entdeckte Granularität und passe sie nur bei domänenspezifischen Anforderungen an

Ausgearbeitete Beispiele

Beispiel 1: Robotisches Schubladenöffnen mit Dual-Process-Validierung

Szenario: Ein Agent muss lernen, verschiedene Schubladentypen zu öffnen, ohne vordefinierte Erfolgskriterien.

System 1 (schnell) Prozess:

1. LLM erzeugt Fähigkeitsvorschlag: „grasp_drawer_handle“
2. LLM erstellt Erfolgsfunktion: drawer_handle_grasped = gripper_distance < 0.02
3. RL-Training verwendet diese Funktion für 100 Episoden
4. LLM bewertet: „Erfolg! Greifer erreicht den Griff konstant“
5. Entscheidungspunkt: In die Bibliothek aufnehmen? NEIN – erfordert System 2

System 2 (langsam) Prozess:

1. VLM analysiert finale Videobilder aus 10 besten Episoden
2. VLM-Urteil: „Greifer berührt den Griff, hält ihn aber nicht – Finger schließen sich nicht“
3. Erkennung: System-1-Fehleralarm entdeckt
4. Maßnahme: Aufnahme in Bibliothek ablehnen, Erfolgsfunktion verfeinern
5. Iteration: Greifdruckanforderung zur Erfolgsfunktion hinzufügen

Experte vs. Anfänger:

• Anfänger übersieht: Vertraut der LLM-Selbstbewertung, nimmt eine schlecht gelernte Fähigkeit auf
• Experte erkennt: Dasselbe Modell kann nicht bewerten, was es vorgeschlagen hat; benötigt unabhängige Validierung

Ergebnis: Die Bibliothek behält 76 % Präzision gegenüber 46 % ohne System 2

Beispiel 2: Top-Down-Quest-Zerlegung für mehrschrittige Aufgaben

Szenario: „Kaffee zubereiten“ scheitert mit Bottom-Up-Fähigkeitsverkettung, obwohl Primitiva wie „grasp_cup“, „pour_liquid“ vorhanden sind

Bottom-Up-Fehleranalyse:

• Verfügbare Fähigkeiten: grasp_cup, pour_liquid, move_arm, detect_object
• Kompositionsversuche: Alle 16 möglichen 2-Fähigkeiten-Ketten wurden versucht
• Fehlende mittlere Fähigkeiten: „align_cup_with_spout“, „detect_liquid_level“, „coordinate_bimanual_pouring“
• Entscheidungspunkt: Bottom-Up kann diese nicht entdecken – sie sind keine Primitive-Kompositionen

Top-Down-Zerlegung:

1. Fehlgeschlagene Aufgabe: „prepare_coffee“
2. Zerlege in: [heat_water] → [grind_beans] → [align_cup] → [pour_water] → [add_beans]
3. Lückenanalyse: „align_cup“ fehlt in der Bibliothek
4. On-Demand-Lernen: Lerne „align_cup“ mit Anfangszustand = Endzustand von „grind_beans“
5. Verkettung: Der Erfolgszustand jeder Teilaufgabe wird zur Anfangsbedingung der nächsten Aufgabe

Kompromissanalyse:

• Bottom-Up: 12,50 % Erfolgsrate, erkundet unnötige Fähigkeitskombinationen
• Top-Down: 43,75 % Erfolgsrate, lernt nur benötigte Voraussetzungen
• Kosten: Top-Down erfordert Fähigkeit zur Aufgabenzerlegung, Bottom-Up erfordert erschöpfende Erkundung

Wann Top-Down nach hinten losgeht:

• Wenn die Aufgabenzerlegung falsch ist, werden Fähigkeiten für falsche Teilaufgaben gelernt
• Wenn Anfangszustände nicht zuverlässig gesetzt werden können, bricht die Verkettung ab
• Abhilfe: Validiere die Zerlegung vor dem Fähigkeitslernen, implementiere eine Überprüfung des Zustandssetzens

Beispiel 3: RAG-Wissensdestillation aus der Umgebung

Szenario: Ein Agent muss Manipulationsfähigkeiten in einer neuen Umgebung erlernen, ohne explizite physikalische Einschränkungen

Ohne RAG (25 % Erfolgsrate):

1. LLM generiert Belohnung: reward = distance_to_target
2. Agent lernt sich zu nähern, berücksichtigt aber keine Kollisionsgrenzen
3. Fehler: Kein Wissen, dass der Greifer 5 cm von der Oberfläche entfernt sein muss, bevor er greift

Mit RAG (46 % Erfolgsrate):

1. Vorherigen Erfolg abrufen: Belohnungsfunktion „reach_cube_A“
2. Muster erkannt: Alle erfolgreichen Reichbewegungen enthalten die Einschränkung gripper_height > 0.05
3. LLM integriert: reward = distance_to_target if gripper_height > 0.05 else -10
4. Destilliertes Wissen: Umgebungsaffordanz implizit gelernt

Experte vs. Anfänger:

• Anfänger übersieht: Behandelt RAG als Beispielbereitstellung, erkennt das Lernen von Randbedingungen nicht
• Experte erkennt: RAG ermöglicht Wissensdestillation aus der Umgebung durch Mustererkennung

Wann RAG nach hinten losgeht:

• Wenn abgerufene Muster aus verschiedenen Umgebungen stammen, werden falsche Randbedingungen gelernt
• Wenn erfolgreiche Beispiele zu spärlich sind, sind die Muster statistisch nicht signifikant
• Abhilfe: Filtere den Abruf nach Umgebungsähnlichkeit, erfordere eine minimale Stichprobengröße für die Musterextraktion

Qualitätskontrollen

• Vorschlag und Validierung verwenden unterschiedliche Modellfähigkeiten (z. B. LLM schlägt vor, VLM validiert)
• Präzision der schnellen Bewertung >45 % und Präzision der langsamen Bewertung >75 %, gemessen an einem zurückgehaltenen Testsatz
• Bibliotheksaufnahme erfordert unabhängige Validierung, nicht nur Trainingsschleifenerfolg
• Zerlegung komplexer Aufgaben erzeugt 3–7 sinnvolle Teilaufgaben mit klarer Abhängigkeitsordnung
• RAG-Abruf verbessert das Lernen von Randbedingungen um >15 % gegenüber dem Basiswert ohne RAG
• Analyse der Fähigkeitsgranularität zeigt semantische Clusterung, keine parametrische Aufzählung
• System kann zirkuläre Abhängigkeitsfehlermodi erkennen und sich davon erholen
• Kontaminationsrate der Bibliothek <25 %, durch unabhängige Bewertung verifiziert
• Top-Down-Zerlegung übertrifft Bottom-Up-Verkettung um >2x bei komplexen Aufgaben
• Wissensdestillation aus der Umgebung zeigt Lernen von Randbedingungen aus Erfolgsmustern

NICHT-FÜR-Grenzen

Verwende diese Fertigkeit NICHT für:

• Vorgegebene Aufgaben mit bekannten Erfolgskriterien → Verwende stattdessen standardmäßiges RL mit handgefertigten Belohnungen
• Einschrittige Manipulationsaufgaben → Verwende stattdessen überwachtes Lernen mit Demonstrationsdaten
• Aufgaben, die Echtzeitleistung erfordern → Dual-Process-Validierung zu langsam; verwende stattdessen eine zwischengespeicherte Fähigkeitsbibliothek
• Bereiche ohne visuelles Feedback → VLM-Validierung nicht verfügbar; entwirf stattdessen domänenspezifische unabhängige Validatoren
• Ressourcenbeschränkte Umgebungen → System-2-Validierung teuer; akzeptiere geringere Präzision oder verwende hierarchische Validierung

Delegiere stattdessen an diese Fertigkeiten:

• Standard-Belohnungsentwicklung → Für Aufgaben mit klaren Erfolgsmetriken
• Nachahmungslernen → Für Aufgaben mit reichlich Demonstrationsdaten
• Hierarchisches RL → Für Aufgaben mit bekannter Fähigkeitszerlegung
• Meta-Lernen → Für schnelle Anpassung an neue Aufgabenverteilungen
• Verfassungsmäßige KI → Für Aufgaben, die Wertausrichtung und Sicherheitseinschränkungen erfordern