Was macht AlphaGo-Architektur-Skill?
Entscheidungspunkte
Wann einzelne vs. kaskadierte Evaluatoren verwenden
Problemeigenschaften:
├── Suchraum handhabbar (b^d < 10^9)
│ └── Verwende den besten einzelnen Evaluator → Standardoptimierung
└── Suchraum nicht handhabbar (b^d > 10^12)
├── Gleichmäßiges Bewertungsbudget verfügbar
│ └── Verwende kaskadierende Approximation:
│ 1. Schnelles Pruning (Policy-Netzwerk) → enger Beam
│ 2. Mittlere Bewertung (Value-Netzwerk) → Qualitätsschätzung
│ 3. Günstige Exploration (Rollouts) → Breitenabdeckung
└── Ungleichmäßiges Bewertungsbudget
└── Adaptive Zuweisung:
├── Kritische Positionen → teure Bewertung
└── Routinepositionen → günstige Heuristiken
Entscheidungsbaum für Genauigkeits- vs. Latenzanforderungen
Systemanforderungen:
├── Latenzkritisch (<1ms Antwort)
│ ├── Hohe Genauigkeitstoleranz (>10% Fehler akzeptabel)
│ │ └── Nur schnelle Rollouts (2µs/Bewertung)
│ └── Niedrige Genauigkeitstoleranz (<5% Fehler)
│ └── Gecachtes Policy-Netzwerk + heuristischer Fallback
├── Moderate Latenz (1-100ms Antwort)
│ ├── Hohe Genauigkeit erforderlich
│ │ └── Value-Netzwerk (3ms) + Policy-Netzwerk-Führung
│ └── Ausgewogene Genauigkeit/Geschwindigkeit
│ └── Gemischte Bewertung: λ=0.5 Value + Rollouts
└── Latenztolerant (>100ms)
└── Vollständige Kaskade: Policy → Value → Rollouts mit MCTS
Bewertung der Fehlermodi-Diversität
Bei der Auswahl mehrerer Evaluatoren:
├── Alle Evaluatoren haben ähnliche Fehlermodi
│ └── Verwende den besten einzelnen Evaluator (kein Diversitätsvorteil)
├── Evaluatoren haben komplementäre Fehler
│ ├── Paarung schnell/verrauscht + langsam/genau
│ │ └── Mische mit λ=0.3-0.7 (Neigung zu genau)
│ ├── Paarung konservativ + explorativ
│ │ └── Mische mit λ=0.5 (gleiche Gewichtung)
│ └── Paarung gelernt + handgefertigt
│ └── Dynamisches Mischen basierend auf Konfidenzwerten
└── Unbekannte Fehlerkorrelation
└── Empirische Tests: Leistung auf Holdout-Set messen
Fehlermodi
Schema-Bloat (Erkennung: >5 Approximationsschichten)
Symptom: Hinzufügen weiterer Approximationsschichten bringt abnehmende Erträge Ursache: Jede Schicht verursacht Overhead ohne proportionalen Genauigkeitsgewinn Behebung: Rechenkosten vs. Genauigkeitsverbesserung profilieren; Schichten mit schlechtem ROI entfernen Erkennungsregel: Wenn das Hinzufügen von Schicht N die Genauigkeit um <5% verbessert, aber die Latenz um >20% erhöht, liegt Schema-Bloat vor
Synchrone Kopplung (Erkennung: Schnelle Komponenten warten untätig)
Symptom: CPU-Auslastung sinkt, während auf GPU-Bewertung gewartet wird Ursache: Enge Kopplung zwischen schneller Suche und langsamer neuronaler Netzwerkbewertung Behebung: Asynchrone Warteschlangen mit Toleranz für veraltete Werte implementieren Erkennungsregel: Wenn schnelle Komponenten (Suche, Rollouts) >50% Leerlaufzeit haben, liegt synchrone Kopplung vor
Proxy-Metrik-Fixierung (Erkennung: Metrik verbessert sich, aber Leistung verschlechtert sich)
Symptom: Vorhersagegenauigkeit von Zügen verbessert sich, aber Gewinnrate sinkt Ursache: Optimierung auf menschliche Nachahmung statt auf objektiven Erfolg Behebung: Wechsel von überwachtem Lernen zu bestärkendem Lernen mit dem wahren Ziel Erkennungsregel: Wenn Proxy-Metrik und Ergebnismetrik über >10 Bewertungen in entgegengesetzte Richtungen tendieren, liegt Proxy-Fixierung vor
Trugschluss des einzelnen Evaluators (Erkennung: Verwerfen „schlechterer“ Einzelkomponenten)
Symptom: Verwerfen von Rollouts, weil das Value-Netzwerk eine höhere individuelle Genauigkeit hat Ursache: Annahme, dass die beste Einzelkomponente die beste Systemkomponente ergibt Behebung: Mischleistung empirisch testen; Diversität schlägt oft individuelle Qualität Erkennungsregel: Wenn Komponenten nach individueller Leistung ausgewählt werden, ohne Kombinationen zu testen, liegt der Trugschluss des einzelnen Evaluators vor
Gleichmäßige Budgetzuweisung (Erkennung: Gleicher Rechenaufwand für alle Entscheidungen)
Symptom: Gleich viel Bewertungszeit für offensichtliche Züge und kritische Positionen Ursache: Keine Anpassung des Rechenbudgets an die Entscheidungswichtigkeit Behebung: Adaptive Zuweisung basierend auf Positionsunsicherheit und Ergebnissensitivität implementieren Erkennungsregel: Wenn die Varianz der Bewertungszeit über Positionen <20% des Mittelwerts beträgt, liegt gleichmäßige Zuweisung vor
Ausgearbeitete Beispiele
Implementierung kaskadierender Approximation für Code-Review
Szenario: Entwicklung eines KI-Systems zur Überprüfung von Pull-Requests mit 50-500 geänderten Zeilen, Antwortzeit <10s, muss 95% der Fehler erkennen.
Schritt 1: Rechenbeschränkungen analysieren
- Statische Analyse: 10ms pro Datei
- ML-Fehlerdetektor: 2s pro Datei
- Tiefe semantische Analyse: 30s pro Datei
- Verfügbares Budget: 10s insgesamt
Schritt 2: Kaskaden-Entscheidungsbaum anwenden Da der erschöpfende Durchlauf das Budget überschreitet, folge dem Pfad „nicht handhabbarer Suchraum“:
- Schnelle Pruning-Schicht (statische Analyse): Eliminiere Dateien ohne Komplexitätsänderungen
- Mittlere Bewertungsschicht (ML-Detektor): Bewerte verbleibende Dateien nach Fehlerwahrscheinlichkeit
- Teure Analyseschicht (semantisch): Tiefenanalyse nur der höchstbewerteten Dateien
Schritt 3: Budgetzuweisungsstrategie
- Reservinge 2s für ML-Bewertung aller verbleibenden Dateien
- Zuweisen der restlichen 8s für semantische Analyse basierend auf ML-Werten
- Dateien mit Wert >0,8: erhalten 4s pro Datei (max. 2 Dateien)
- Dateien mit Wert 0,5-0,8: erhalten 2s pro Datei
- Dateien mit Wert <0,5: erhalten nur den ML-Wert
Schritt 4: Implementierung der gemischten Bewertung Statt des „besten“ Evaluators (semantische Analyse) zu verwenden, mische ML- und semantische Werte:
- ML-Detektor: schnell, gut im Mustervergleich, übersieht neuartige Fehler
- Semantische Analyse: langsam, erfasst komplexe Logikfehler, hohe Falsch-Positiv-Rate
- Mischung mit λ=0,6:
final_score = 0,6 * semantisch + 0,4 * ml
Anfängeransatz: Führe semantische Analyse für alles durch → Zeitüberschreitung nach den ersten paar Dateien Experteneinblick: Die Kaskade ermöglicht es, teure Berechnungen nur dort einzusetzen, wo sie am meisten benötigt werden, während sichergestellt wird, dass jede Datei eine gewisse Bewertung erhält
Qualitätsgates
[ ] N Evaluatoren getestet: Mindestens 3 Evaluatoren mit unterschiedlichen Geschwindigkeits-/Genauigkeitsprofilen implementiert und benchmarkt [ ] Fehlerkorrelation gemessen: Paarweise Korrelationsmatrix erstellt, die zeigt, dass Evaluatoren auf dem Testset eine Korrelation <0,7 aufweisen [ ] Mischung vs. Einzelbewertung: Empirischer Vergleich zeigt, dass die Mischung die beste Einzelkomponente um >5% übertrifft [ ] Latenzanforderungen erfüllt: 95. Perzentil der Antwortzeit liegt unter dem angegebenen Schwellenwert bei voller Kaskade [ ] Genauigkeitsanforderungen erfüllt: Fehlerrate auf dem Holdout-Set liegt unter dem angegebenen Schwellenwert (z.B. <5% Falsch-Negativ-Rate) [ ] Budgetzuweisung profiliert: Aufschlüsselung der Rechenkosten zeigt, dass das Budget entsprechend der Entscheidungswichtigkeit verteilt wird [ ] Fehlermodustests: System unter adversen Bedingungen getestet (Verteilungsverschiebung, Ressourcenbeschränkungen, Grenzfälle) [ ] Asynchrone Koordination verifiziert: Schnelle Komponenten behalten >80% Auslastung, selbst wenn langsame Komponenten gesättigt sind [ ] Skalierbarkeit validiert: Leistung verschlechtert sich kontrolliert bei 10-facher Überlastung über die Nennkapazität hinaus [ ] Monitoring-Instrumentierung: Metriken verfolgen die Übereinstimmung von Proxy und Ergebnis, Komponentenauslastung und Kaskadeneffektivität
NICHT-FÜR-Grenzen
Verwende diesen Skill NICHT für:
- Einfache Optimierungsprobleme mit handhabbarem Suchraum → verwende stattdessen Standardoptimierung
- Einzelmodell-Training oder -Tuning → verwende stattdessen Tiefenlernen-Training
- Echtzeitsysteme mit <1ms Latenz → verwende stattdessen Niedriglatenzsysteme
- Probleme, bei denen ein Evaluator klar überlegen ist und andere keinen Mehrwert bieten → verwende stattdessen Einzelmodell-Bereitstellung
- Sequenzielle Entscheidungsprozesse ohne Suchbaumstruktur → verwende stattdessen Grundlagen des bestärkenden Lernens
Delegiere an andere Skills, wenn:
- Die Implementierung spezifischer neuronaler Netzwerkarchitekturen benötigt wird → Tiefenlernen-Architekturen
- Die Infrastruktur verteilter Systeme entworfen wird → Entwurf verteilter Systeme
- Die Leistung einzelner Komponenten optimiert wird → Leistungsoptimierung
- Die Sammlung und Kennzeichnung von Trainingsdaten behandelt wird → Datenengineering
- Spezifische Suchalgorithmen implementiert werden → Suchalgorithmen
Dieser Skill konzentriert sich speziell auf: Architekturmuster zur Koordination mehrerer unvollkommener Evaluatoren unter Rechenbeschränkungen, nicht auf die Implementierungsdetails einzelner Komponenten.