Empirisches Benchmark- & Telemetrieprotokoll
Der Befehl /benchmark erzwingt empirische Überprüfung. Statt theoretische Behauptungen oder synthetische Schätzungen zu akzeptieren, muss der Agent ausführbare Test-Harnesses erstellen, sie headless ausführen und reale Hardware-Leistungskennzahlen messen.
Benchmark-Richtlinien
-
Ad-hoc-Harness-Synthese:
- Schreibe Testskripte oder Mikro-Benchmarks in
<appDataDir>/brain/<conversation-id>/scratch/(oder einem dafür vorgesehenen Benchmark-Verzeichnis). - Wärme die Ausführungslaufzeit vor dem Messen auf.
- Führe mehrere Iterationen durch (mindestens 10–50 Iterationen, abhängig von der Arbeitslastdauer), um statistisch zuverlässige Perzentile (p50, p90, p99) zu ermitteln.
- Schreibe Testskripte oder Mikro-Benchmarks in
-
Hardware-Telemetriemessung: Führe headless über
run_commandaus und erfasse:- Latenz: Wanduhr-Ausführungszeit (ms/µs).
- Durchsatz: Operationen pro Sekunde / Bilder pro Sekunde / Bytes pro Sekunde.
- Speicher: Spitzenwert der Resident Set Size (RSS), Allokationschurn, Heap-Fußabdruck.
- Fehlerrate: Fehleranzahl oder Timeout-Auftreten unter Last.
-
Vergleichsmatrix: Erstelle stets einen Side-by-Side-Empiriebericht, der Baseline und Kandidat gegenüberstellt:
Metrik Baseline Kandidat Delta (% Änderung) Konfidenz Median-Latenz (p50) .........%p < 0,01Tail-Latenz (p99) .........%p < 0,01Spitzenspeicher (RSS) .........%Verifiziert Durchsatz .........%Verifiziert -
Absolutes Rateverbot: Erkläre niemals eine Funktion für „optimiert“, ohne das Benchmark-Skript auszuführen und rohe, reproduzierbare Konsolenausgaben zu melden.