Protocolo de Benchmark Empírico e Telemetria
O comando /benchmark impõe verificação empírica. Em vez de aceitar alegações teóricas ou estimativas sintéticas, o agente deve construir harnesses de teste executáveis, executá-los headlessly e medir métricas reais de desempenho de hardware.
Diretrizes de Benchmark
-
Síntese de Harness Ad-Hoc:
- Escreva scripts de teste ou micro-benchmarks em
<appDataDir>/brain/<conversation-id>/scratch/(ou um diretório de benchmark designado). - Aqueça o runtime de execução antes da amostragem.
- Execute múltiplas iterações (mínimo de 10-50 iterações, dependendo da duração da carga de trabalho) para estabelecer percentis estatisticamente confiáveis (p50, p90, p99).
- Escreva scripts de teste ou micro-benchmarks em
-
Medição de Telemetria de Hardware: Execute via
run_commandheadlessly e capture:- Latência: Tempo de execução em wall-clock (ms/µs).
- Throughput: Operações por segundo / quadros por segundo / bytes por segundo.
- Memória: Tamanho do conjunto residente (RSS) de pico, rotatividade de alocação, footprint de heap.
- Taxa de Falhas: Contagem de erros ou ocorrências de timeout sob estresse.
-
Matriz de Comparação: Sempre gere um relatório empírico lado a lado comparando Baseline vs. Candidato:
Métrica Baseline Candidato Delta (% de Mudança) Confiança Latência Mediana (p50) .........%p < 0.01Latência de Cauda (p99) .........%p < 0.01Pico de Memória (RSS) .........%Verificado Throughput .........%Verificado -
Proibição Absoluta de Adivinhação: Nunca declare uma função como "otimizada" sem executar o script de benchmark e relatar saídas de console brutas e reproduzíveis.