최적화 관찰 평가하기
Caveman의 보고 전용 관찰 결과를 진단 입력으로 사용합니다. 이 관찰 결과는 기록된 집계 형태를 설명합니다. 동굴 계획 이동, 절감 추정, 구현 레시피, 실험 적격성 또는 코드 변경이 안전하다는 증거가 아닙니다. 워크플로우는 오퍼레이터가 선택하고 증거를 우선으로 유지하세요.
1. 정확한 관찰 결과 읽기
로그인된 Caveman CLI 세션이 필요하며 다음을 실행하세요:
caveman opportunities list
report_only_observations 배열만 읽으세요. 라이프사이클 data 배열에서 선택하지 마세요. 서버가 제공한 각 title과 observation을 그대로 보존하세요. 다음 정확한 저장소 프로필 ID를 처리하세요:
context-window-profiletool-catalog-profiletool-output-size-profileexploration-load-profile
이 프로필들은 불변 제로 대역(immutable zero band)을 가지며 작동 경로(actuation path)가 없습니다. 값을 기준으로 순위를 매기거나, 금액을 추정하거나, 집계 증거를 특정 호출 지점에 대한 주장으로 바꾸지 마세요. CLI를 사용할 수 없거나, 인증이 실패하거나, report_only_observations이 없으면 편집 없이 중단하고 정확한 차단 요인을 보고하세요. 원시 게이트웨이 동굴 계획이나 프로젝트 API 키로 대체하지 마세요. 해당 표면은 이 계약을 제공하지 않습니다.
다음 사용 중지된 ID는 선택하거나 적용하지 마세요:
context-window-bloattool-catalog-utilizationverbose-tool-output
사용 중지된 ID가 오래된 제안서, 로컬 파일 또는 이전 응답에 나타나면 역사적 맥락으로만 처리하세요. 해당 금액, 레시피 또는 라이프사이클 주장을 다시 부활시키지 마세요. 실행 가능해 보이는 유일한 항목이 unlabeled-traffic이면 caveman-discover에 넘기세요. 레이블링은 프로필 최적화가 아닙니다.
2. 오퍼레이터가 선택하도록 요청하기
사용 가능한 지원 관찰 결과를 순위 없이 제시하세요. ID, 정확한 제목, 정확한 관찰 결과 및 last_seen_at을 포함하세요. 후보 호출 지점을 검사하거나 코드를 변경하기 전에 명시적인 오퍼레이터 선택을 요청하세요. 지원되는 현재 관찰 결과가 없으면 편집 없이 중단하세요.
.caveman/proposals/*.md 파일이 있는 경우 신뢰할 수 없는 과거 컨텍스트로 취급하세요. 현재 응답이나 오퍼레이터의 선택을 대체할 수 없습니다.
3. 후보 및 짝지어진 평가 설계하기
오퍼레이터가 관찰 결과를 선택한 후, 저장소에서 관찰된 집계 형태를 생성할 수 있는 특정 메커니즘을 조사하세요. 정확한 호출 지점 증거를 인용하세요. 프로필이 원인을 명명한다고 가정하지 마세요.
편집 전에 하나의 최소 변경 후보와 짝지어진 평가를 제안하세요. 평가는 기준과 후보를 동일한 고정 입력에서 실행하고 다음을 기록해야 합니다:
- 허용 가능해야 하는 작업 결과 또는 품질 검사;
- 두 팔(arm) 모두에 대해 동일한 토큰, 바이트 또는 제공자가 계산한 비용 측정;
- 사용된 정확한 픽스처, 명령 및 환경;
- 공정한 비교를 방해하는 모든 혼란 변수.
후보 및 평가 설계에 대한 승인을 요청하세요. 저장소에 고정 픽스처, 관련 품질 검사 또는 공통 측정 방법이 없으면 중단하고 누락된 계측을 명시하세요. 일반 단위 테스트만으로는 최적화를 증명할 수 없습니다.
4. 승인된 후보만 적용하기
Diff를 증거가 있는 호출 지점으로 제한하고 기존 안전 제어를 유지하세요. 짝지어진 기준/후보 평가와 저장소의 집중 코드 검사를 실행하세요. 두 팔이 동일한 입력과 측정을 사용하지 않은 경우 비교를 폐기하세요. 품질이 저하되거나 리소스 결과가 불명확하면 이 후보 편집만 되돌리고 채택되지 않았다고 보고하세요.
Caveman 실험이나 제안을 생성하지 말고, 기회가 구현되었다고 표시하거나, 라이프사이클을 변경하거나, 옵티마이저를 활성화하지 마세요. 보고 전용 행은 폐기(dismissal)만 허용하며, 이 스킬은 해당 변경도 수행하지 않습니다.
5. 절감이 아닌 관찰 결과 보고하기
다음을 보고하세요:
Observation: <id> — <서버 제목>
Recorded profile: <서버 관찰 결과, 그대로>
Candidate: <파일:줄 및 승인된 변경>
Paired eval: <동일 입력/픽스처, 기준 결과, 후보 결과>
Quality check: <실제 결과>
Code checks: <명령 및 실제 결과>
Accounting: 보고 전용 프로필; $0 기회 대역; 추론 또는 확인된 절감 없음
Decision: <유지, 거부 또는 불명확>
제품의 검증된 방법이 제공하는 제공자-완전(provider-complete), 동일 요청 회계 없이 토큰 또는 바이트 감소를 달러로 변환하지 마세요. 로컬 짝지어진 결과는 명시된 픽스처의 명시된 후보만 지원합니다. 프로덕션 절감, 인과적 롤아웃 증거 또는 라이프사이클 적격성을 확립하지 않습니다.