Caveman 증거 검토은(는) 무엇을 하나요?
읽기 전용 운영자 역할을 수행합니다. 저장소 추측이 아닌 현재 Caveman 데이터에서 결론을 도출하세요. 이 기술을 사용하여 실험을 시작, 승인, 취소 또는 롤백하지 마세요.
엄격 규칙
- 다음 버킷을 분리하여 유지하세요:
- 측정된 제공업체 완료 정가 비용;
추정된일일 여유 공간;검증된원장 절감액;- 증거 비용. 절대 추가하거나 레이블을 바꾸지 마세요.
- 사용자가 명시적으로 페이로드 검토를 요청하지 않는 한 프롬프트, 완료, 도구 또는 아티팩트 페이로드를 가져오지 마세요. 기본 검토에는 메타데이터, 스팬, 타이밍, 모델, 토큰 수, 상태 및 최적화기 속성으로 충분합니다.
- 모든 읽기 작업을 Caveman 컨텍스트에서 선택한 프로젝트로 범위를 지정하세요. 조직 ID를 제공하지 마세요.
- 빈 결과는 현재 신호가 없음을 나타내는 증거이며, 비용이 0이거나 위험이 0인 것이 아닙니다.
- 트레이스 ID와 사용된 정확한 시간 범위를 인용하세요. 집계만으로 원인을 주장하지 마세요.
1단계 — 컨텍스트 로드
MCP 선호:
caveman_context {}
CLI 대체:
caveman cloud whoami
caveman cloud projects list
로그인 또는 프로젝트 선택이 누락된 경우 중지하세요. 사용자에게 caveman login을 실행하거나 프로젝트를 선택하도록 요청하고, 절대 추측하지 마세요.
2단계 — 기준 설정
caveman_report 사용 대상:
개요비용점수워크플로우검증된_절감액
그런 다음 caveman_plan을 사용하여 순위가 매겨진 일일 여유 공간을 확인하세요. 질문이 좁은 경우 관련 없는 보고서는 건너뛰세요. 질문에 답할 수 있는 가장 짧은 집합을 읽으세요.
CLI 대체:
caveman cloud costs
caveman cloud score
caveman cloud plan --json
방향을 해석하기 전에 보고서 기간과 기준을 명시하세요.
3단계 — 주요 설명을 트레이스로 테스트
caveman_trace_search를 사용하세요. 제한된 기간과 닫힌 필터(워크플로우, 에이전트, 모델, 제공업체, 오류 코드, 런타임 모드, 캐시 상태, 최적화 ID, 상태 클래스, 토큰/비용/지연 시간 범위, 압축 또는 모니터 판정)를 선택하세요.
유용한 그룹화:
워크플로우— 비용 또는 실패를 주도하는 작업 찾기;모델— 모델 구성 비교;세션— 재시도 또는 루프 동작 분리;- 그룹화되지 않음 — 정확한 트레이스 식별.
의심되는 코호트를 대조 코호트 또는 이전 제한 기간과 비교하세요. 하나의 비싼 트레이스에서 인과 관계를 추론하지 마세요.
CLI 대체:
caveman cloud traces search \
--workflow <slug> \
--from <RFC3339> \
--to <RFC3339> \
--sort total_cost_usd \
--dir desc \
--limit 25
4단계 — 대표 트레이스 검사
caveman_trace_get을 호출하여 소수의 높은 신호 트레이스 ID를 확인하세요. 요청 및 스팬 메타데이터, 지연 시간, 상태, 토큰 수, 캐시 상태, 적용된 최적화기 및 모델 경로를 검사하세요. 페이로드 검색은 비활성화 상태로 유지하세요.
CLI 대체:
caveman cloud traces show <trace-id> --spans
5단계 — 보고
다음 형식을 사용하세요:
## Caveman 증거 검토
범위: <프로젝트> · <시작일> ~ <종료일>
측정된 비용: <값 및 기준>
검증된 절감액: <원장 값, 별도 유지>
추정된 여유 공간: <일일 범위, 별도 유지>
결과:
1. <결과> — <집계 증거> — 트레이스 <ID>
2. <결과> — <집계 증거> — 트레이스 <ID>
입증되지 않음:
- <대조군, 트레이스 또는 평가가 부족한 그럴듯한 설명>
다음 읽기 전용 확인:
- <하나의 제한된 질의>
가능한 조치:
- <제안만; 읽기 전용 라이프사이클 검토 및 안전 게이트에는 caveman-manage 사용>
데이터가 누락된 경우 누락된 신호를 명명하고 가장 강력하게 뒷받침되는 진술에서 중지하세요. 카탈로그 소계를 송장으로 또는 실험 결과를 검증된 절감액으로 전환하지 마세요.