Was macht Benchmark-Optimierungs-Schleife?
Verwenden Sie diesen Skill, um „mach es 20x schneller“ oder „probiere 50 rekursive Optimierungen“ in eine begrenzte, messbare Schleife zu verwandeln, die ein System tatsächlich verbessern kann.
Erforderliche Baseline
Optimieren Sie erst, wenn Folgendes existiert:
- die zu optimierende Operation;
- das Korrektheits-Gate, das grün bleiben muss;
- die Metrik: Wandzeit, p95-Latenz, Zeilen/s, Kosten/Lauf, Speicher, Fehlerrate;
- die aktuelle Baseline;
- das Suchbudget: max. Varianten, max. Zeit, max. Ausgaben, max. Datenauswirkung.
Wenn der Benutzer ein unrealistisches Ziel vorgibt, behalten Sie den Ehrgeiz bei, machen Sie die Schleife jedoch begrenzt und messbar.
Schleife
- Messen Sie die Baseline.
- Identifizieren Sie Engpässe auf Basis von Beweisen.
- Generieren Sie Varianten, die jeweils eine Hypothese testen.
- Führen Sie die Varianten mit derselben Eingabeform aus.
- Lehnen Sie Varianten ab, die Korrektheit, Sicherheit oder Reproduzierbarkeit verletzen.
- Fördern Sie die schnellste sichere Variante.
- Kodifizieren Sie den Gewinnerpfad in einem Skript, Befehl, Test, einer Konfiguration oder einem Dokument.
- Führen Sie die Baseline und den Gewinner erneut aus, um die Differenz zu bestätigen.
Variantentabelle
Verfolgen Sie Varianten wie folgt:
Variant | Hypothese | Befehl | Zeit | Korrekt? | Anmerkungen
baseline | aktueller Pfad | npm run job | 120s | ja | stabil
batch-500 | weniger Roundtrips | npm run job -- --batch 500 | 42s | ja | Gewinner
parallel-8| mehr Arbeiter | npm run job -- --workers 8 | 31s | nein | ratenbegrenzt
Rekursive Suche
Für rekursive oder Hyperparameter-Arbeit:
- jeden Durchlauf in einem Logbuch persistieren;
- Vergleich mit dem zuletzt akzeptierten Gewinner, nicht nur dem vorherigen Lauf;
- einen Holdout- oder Replay-Check beibehalten;
- stoppen, wenn die Verbesserung im Rauschen liegt, die Korrektheit fehlschlägt, die Kosten das Budget überschreiten oder die Suche mehr Variablen ändert, als sie erklären kann.
Verwenden Sie Formulierungen wie „beste gemessene sichere Variante“ anstelle von „globalem Optimum“, es sei denn, der Suchraum wurde tatsächlich erschöpfend durchsucht.
Promotions-Gate
Eine Variante kann erst dann zur neuen Standardeinstellung werden, wenn:
- Korrektheitstests bestanden sind;
- die Leistungsdifferenz wiederholt oder erklärt wurde;
- ein Rollback offensichtlich ist;
- die Änderung in der Versionskontrolle oder einem dauerhaften Runbook kodiert ist;
- die endgültige Zusammenfassung genaue Befehle und Messungen enthält.