Was macht Benchmark-Optimierungs-Schleife?
Verwenden Sie diese Fähigkeit, um „mach es 20x schneller“ oder „versuche 50 rekursive Optimierungen“ in eine begrenzte gemessene Schleife umzuwandeln, die tatsächlich ein System verbessern kann.
Erforderliche Baseline
Optimieren Sie nicht, bis diese existieren:
- die zu optimierende Operation;
- das Korrektheitstor, das grün bleiben muss;
- die Metrik: Wandzeit, p95-Latenz, Zeilen/Sekunde, Kosten/Lauf, Speicher, Fehlerrate;
- die aktuelle Baseline;
- das Suchbudget: maximale Varianten, maximale Zeit, maximale Ausgaben, maximale Datenauswirkungen.
Wenn der Benutzer ein unrealistisches Ziel nennt, behalten Sie den Ehrgeiz, machen Sie aber die Schleife begrenzt und messbar.
Schleife
- Messen Sie die Baseline.
- Identifizieren Sie Engpässe anhand von Beweisen.
- Generieren Sie Varianten, die jeweils eine Hypothese testen.
- Führen Sie Varianten mit der gleichen Eingabeform aus.
- Lehnen Sie Varianten ab, die Korrektheit, Sicherheit oder Reproduzierbarkeit verletzen.
- Fördern Sie die schnellste sichere Variante.
- Codieren Sie den Gewinnerpfad in einem Skript, Befehl, Test, Konfiguration oder Dokument.
- Wiederholen Sie die Baseline und den Gewinner, um die Differenz zu bestätigen.
Variantentabelle
Verfolgen Sie Varianten wie folgt:
Variant | Hypothese | Befehl | Zeit | Korrekt? | Notizen
baseline | aktueller Pfad | npm run job | 120s | ja | stabil
batch-500 | weniger Roundtrips | npm run job -- --batch 500 | 42s | ja | Gewinner
parallel-8 | mehr Arbeiter | npm run job -- --workers 8 | 31s | nein | ratenbegrenzt
Rekursive Suche
Für rekursive oder Hyperparameter-Arbeiten:
- persistieren Sie jeden Lauf in einem Ledger;
- vergleichen Sie gegen den vorherigen akzeptierten Gewinner, nicht nur gegen den vorherigen Lauf;
- behalten Sie eine Halteprobe oder einen Replay-Check;
- stoppen Sie, wenn die Verbesserung im Rauschen liegt, die Korrektheit fehlschlägt, die Kosten das Budget überschreiten oder die Suche beginnt, mehr Variablen zu ändern, als sie erklären kann.
Verwenden Sie Ausdrücke wie „beste gemessene sichere Variante“ statt „globales Optimum“, es sei denn, der Suchraum war tatsächlich erschöpfend.
Promotion Gate
Eine Variante kann erst dann zum neuen Standard werden, wenn:
- Korrektheitstests bestanden sind;
- die Leistungsdifferenz wiederholt oder erklärt wurde;
- der Rollback offensichtlich ist;
- die Änderung in der Versionskontrolle oder einem dauerhaften Runbook codiert ist;
- die abschließende Zusammenfassung genaue Befehle und Messungen enthält.