실증적 벤치마크 및 텔레메트리 프로토콜
/benchmark 명령어는 실증적 검증을 강제합니다. 이론적 주장이나 합성 추정치를 수용하는 대신, 에이전트는 실행 가능한 테스트 하네스를 구성하고, 헤드리스로 실행하며, 실제 하드웨어 성능 메트릭을 측정해야 합니다.
벤치마크 가이드라인
-
임시 하네스 합성:
- 테스트 스크립트 또는 마이크로 벤치마크를
<appDataDir>/brain/<conversation-id>/scratch/(또는 지정된 벤치마크 디렉터리)에 작성합니다. - 샘플링 전에 실행 런타임을 워밍업합니다.
- 최소 10~50회 반복(작업 부하 기간에 따라) 실행하여 통계적으로 신뢰할 수 있는 백분위수(p50, p90, p99)를 확보합니다.
- 테스트 스크립트 또는 마이크로 벤치마크를
-
하드웨어 텔레메트리 측정:
run_command를 통해 헤드리스로 실행하고 다음을 캡처합니다:- 지연 시간: 벽시계 실행 시간 (ms/µs).
- 처리량: 초당 작업 수 / 초당 프레임 수 / 초당 바이트 수.
- 메모리: 최대 상주 세트 크기 (RSS), 할당 변동, 힙 사용량.
- 실패율: 부하 상태에서의 오류 횟수 또는 시간 초과 발생 횟수.
-
비교 매트릭스: 항상 기준(Baseline)과 후보(Candidate)를 비교하는 나란히 보여주는 실증 보고서를 생성합니다:
메트릭 기준 후보 델타 (% 변화) 신뢰도 중간 지연 시간 (p50) .........%p < 0.01꼬리 지연 시간 (p99) .........%p < 0.01최대 메모리 (RSS) .........%확인됨 처리량 .........%확인됨 -
추측의 절대 금지: 벤치마크 스크립트를 실행하고 원시적이고 재현 가능한 콘솔 출력을 보고하지 않고는 어떤 함수가 "최적화되었다"고 선언하지 않습니다.