实证基准测试与遥测协议
/benchmark 命令强制执行实证验证。代理必须构建可执行的测试工具,无头运行,并测量真实的硬件性能指标,而不是接受理论断言或合成估算。
基准测试指南
-
临时工具合成:
- 在
<appDataDir>/brain/<conversation-id>/scratch/(或指定基准测试目录)中编写测试脚本或微基准测试。 - 在采样前对执行运行时进行预热。
- 运行多次迭代(根据工作负载持续时间,最少 10-50 次迭代),以建立统计上可靠的百分位数(p50、p90、p99)。
- 在
-
硬件遥测测量: 通过
run_command无头执行并捕获:- 延迟: 挂钟执行时间(毫秒/微秒)。
- 吞吐量: 每秒操作数 / 每秒帧数 / 每秒字节数。
- 内存: 峰值常驻集大小(RSS)、分配波动、堆占用。
- 失败率: 压力下的错误计数或超时发生次数。
-
对比矩阵: 始终生成基线 vs. 候选方案的并列实证报告:
指标 基线 候选方案 变化百分比 (%) 置信度 中位数延迟 (p50) .........%p < 0.01尾延迟 (p99) .........%p < 0.01峰值内存 (RSS) .........%已验证 吞吐量 .........%已验证 -
绝对禁止猜测: 未经运行基准测试脚本并报告原始、可复现的控制台输出,绝不得声明某个函数已被“优化”。