Protocolo de Benchmark y Telemetría Empírica
El comando /benchmark impone la verificación empírica. En lugar de aceptar afirmaciones teóricas o estimaciones sintéticas, el agente debe construir arneses de prueba ejecutables, ejecutarlos sin interfaz gráfica y medir las métricas reales de rendimiento del hardware.
Directrices de Benchmark
-
Síntesis de Arnés Ad-Hoc:
- Escribir scripts de prueba o micro-benchmarks en
<appDataDir>/brain/<conversation-id>/scratch/(o un directorio de benchmark designado). - Calentar el tiempo de ejecución antes de comenzar a muestrear.
- Ejecutar múltiples iteraciones (mínimo 10-50 iteraciones dependiendo de la duración de la carga de trabajo) para establecer percentiles estadísticamente fiables (p50, p90, p99).
- Escribir scripts de prueba o micro-benchmarks en
-
Medición de Telemetría de Hardware: Ejecutar mediante
run_commandsin interfaz gráfica y capturar:- Latencia: Tiempo de ejecución en tiempo real (ms/µs).
- Rendimiento: Operaciones por segundo / fotogramas por segundo / bytes por segundo.
- Memoria: Tamaño máximo del conjunto residente (RSS), variación de asignación, huella del montón.
- Tasa de Fallos: Conteo de errores o ocurrencias de tiempo de espera bajo estrés.
-
Matriz de Comparación: Siempre generar un informe empírico lado a lado comparando la Línea Base vs. el Candidato:
Métrica Línea Base Candidato Delta (% de Cambio) Confianza Latencia Mediana (p50) .........%p < 0.01Latencia de Cola (p99) .........%p < 0.01Memoria Máxima (RSS) .........%Verificado Rendimiento .........%Verificado -
Prohibición Absoluta de Conjeturas: Nunca declarar una función como "optimizada" sin ejecutar el script de benchmark y reportar las salidas de consola sin procesar y reproducibles.