實證基準測試與遙測協定
/benchmark 命令強制執行實證驗證。代理程式不得接受理論主張或合成估算,而必須建構可執行的測試工具,在無頭模式下執行,並測量實際硬體效能指標。
基準測試指南
-
即時工具合成:
- 在
<appDataDir>/brain/<conversation-id>/scratch/(或指定的基準測試目錄)中編寫測試腳本或微型基準測試。 - 在取樣前對執行環境進行預熱。
- 執行多次迭代(根據工作負載持續時間,最少 10-50 次迭代),以建立統計上可靠的百分位數(p50、p90、p99)。
- 在
-
硬體遙測測量: 透過
run_command在無頭模式下執行並擷取:- 延遲: 時鐘時間(毫秒/微秒)。
- 吞吐量: 每秒操作數 / 每秒幀數 / 每秒位元組數。
- 記憶體: 峰值常駐集大小(RSS)、分配波動、堆積體積。
- 失敗率: 壓力下的錯誤次數或超時發生次數。
-
比較矩陣: 始終產生一份並排的實證報表,比較基準(Baseline)與改良後(Candidate):
指標 基準 改良候選 差異(百分比變化) 信心水準 中位數延遲 (p50) .........%p < 0.01尾端延遲 (p99) .........%p < 0.01峰值記憶體 (RSS) .........%已驗證 吞吐量 .........%已驗證 -
絕對禁止猜測: 在未執行基準測試腳本並報告原始、可重現的控制台輸出之前,永遠不得宣稱某個函式「已最佳化」。