벤치마크 최적화 루프은(는) 무엇을 하나요?
이 스킬을 사용하여 "20배 빠르게 만들어 줘" 또는 "50번 반복 최적화"와 같은 요청을 실제로 시스템을 개선할 수 있는 경계가 있는 측정 루프로 변환하세요.
필수 기준
다음이 준비될 때까지 최적화하지 마세요:
- 최적화 대상 작업
- 반드시 통과해야 하는 정확성 검증 게이트
- 메트릭: wall time, p95 레이턴시, rows/sec, 실행당 비용, 메모리, 오류율
- 현재 기준선
- 탐색 예산: 최대 변형 수, 최대 시간, 최대 지출, 최대 데이터 영향
사용자가 비현실적인 목표를 요청하더라도 야망은 유지하되 루프에 경계와 측정 가능성을 부여하세요.
루프
- 기준선을 측정합니다.
- 증거를 기반으로 병목 지점을 식별합니다.
- 각각 하나의 가설을 테스트하는 변형을 생성합니다.
- 동일한 입력 형태로 변형을 실행합니다.
- 정확성, 안전성 또는 재현성에 실패한 변형을 거부합니다.
- 가장 빠른 안전 변형을 승격합니다.
- 승리 경로를 스크립트, 명령어, 테스트, 설정 또는 문서에 코드화합니다.
- 기준선과 승리자를 재실행하여 차이를 확인합니다.
변형 테이블
다음과 같이 변형을 추적하세요:
변형 | 가설 | 명령어 | 시간 | 정확? | 비고
baseline | 현재 경로 | npm run job | 120초 | 예 | 안정적
batch-500 | 왕복 횟수 감소 | npm run job -- --batch 500 | 42초 | 예 | 승리자
parallel-8 | 워커 증가 | npm run job -- --workers 8 | 31초 | 아니요 | 속도 제한 발생
재귀적 탐색
재귀적 또는 하이퍼파라미터 작업의 경우:
- 모든 실행을 원장에 지속적으로 기록합니다.
- 이전 실행뿐만 아니라 이전에 승인된 승리자와 비교합니다.
- 홀드아웃 또는 재생 검사를 유지합니다.
- 개선이 노이즈 범위 내에 있거나, 정확성 검증이 실패하거나, 비용이 예산을 초과하거나, 탐색이 설명할 수 있는 변수보다 더 많은 변수를 변경하기 시작하면 중단합니다.
탐색 공간이 실제로 완전 탐색되지 않은 이상 "전역 최적" 대신 "최상의 측정된 안전 변형"과 같은 표현을 사용하세요.
승격 게이트
다음 조건이 충족될 때까지 변형을 새로운 기본값으로 설정할 수 없습니다:
- 정확성 테스트 통과
- 성능 차이가 반복되거나 설명됨
- 롤백이 명확함
- 변경 사항이 소스 제어 또는 내구성 있는 런북에 기록됨
- 최종 요약에 정확한 명령어와 측정값이 포함됨