Protocole de Benchmark Empirique et Télémétrie
La commande /benchmark impose une vérification empirique. Au lieu d'accepter des affirmations théoriques ou des estimations synthétiques, l'agent doit construire des harnais de test exécutables, les exécuter en mode headless et mesurer des métriques réelles de performance matérielle.
Directives de Benchmark
-
Synthèse Ad-Hoc de Harnais :
- Écrire des scripts de test ou des micro-benchmarks dans
<appDataDir>/brain/<conversation-id>/scratch/(ou un répertoire de benchmark désigné). - Chauffer l'environnement d'exécution avant l'échantillonnage.
- Exécuter plusieurs itérations (minimum 10-50 itérations selon la durée de la charge) pour établir des percentiles statistiquement fiables (p50, p90, p99).
- Écrire des scripts de test ou des micro-benchmarks dans
-
Mesure de Télémétrie Matérielle : Exécuter via
run_commanden mode headless et capturer :- Latence : Temps d'exécution réel (ms/µs).
- Débit : Opérations par seconde / images par seconde / octets par seconde.
- Mémoire : Taille maximale de l'ensemble résident (RSS), variation d'allocation, empreinte du tas.
- Taux d'échec : Nombre d'erreurs ou occurrences de timeout sous stress.
-
Matrice de Comparaison : Toujours générer un rapport empirique côte à côte comparant la Baseline et la Candidate :
Métrique Baseline Candidate Delta (% de changement) Confiance Latence Médiane (p50) .........%p < 0.01Latence Queue (p99) .........%p < 0.01Mémoire Max (RSS) .........%Vérifié Débit .........%Vérifié -
Interdiction Absolue des Suppositions : Ne jamais déclarer une fonction "optimisée" sans exécuter le script de benchmark et rapporter des sorties console brutes et reproductibles.