Cavemanエビデンスをレビューする
読み取り専用オペレーターとして行動します。現在のCavemanデータから結論を構築し、リポジトリの推測からは構築しません。このスキルから実験を開始、承認、キャンセル、またはロールバックしてはいけません。
ハードルール
- 以下のバケットは別々に保つこと：
- 計測されたプロバイダ完全リスト価格コスト；
inferred毎日のヘッドルーム；verified台帳節約額；- 証拠コスト。 これらを追加したりラベルを変更してはいけません。
- ユーザーが明示的にペイロードレビューを要求しない限り、プロンプト、補完、ツール、またはアーティファクトのペイロードを取得しないこと。メタデータ、スパン、タイミング、モデル、トークン数、ステータス、最適化情報はデフォルトのレビューに十分です。
- すべての読み取りは、Cavemanコンテキストによって選択されたプロジェクトにスコープを限定すること。組織IDを提供してはいけません。
- 空の結果は、現在のシグナルがない証拠であり、コストゼロやリスクゼロではありません。
- トレースIDと使用した正確な時間枠を引用すること。単一の集計から原因を主張してはいけません。
ステップ1 — コンテキストを読み込む
MCPを推奨：
caveman_context {}
CLIフォールバック：
caveman cloud whoami
caveman cloud projects list
ログインまたはプロジェクト選択がない場合は停止し、ユーザーに caveman login の実行またはプロジェクトの選択を依頼します。決して推測しないでください。
ステップ2 — ベースラインを確立する
caveman_report を以下のために使用：
overviewcostsscoreworkflowsverified_savings
次に caveman_plan を使用してランク付けされた毎日のヘッドルームを取得します。質問が狭い場合は、無関係なレポートをスキップします。質問に答えるために必要な最短のセットを読み取ります。
CLIフォールバック：
caveman cloud costs
caveman cloud score
caveman cloud plan --json
方向性を解釈する前に、レポートのウィンドウと基準を述べてください。
ステップ3 — トレースで主要な説明をテストする
caveman_trace_search を使用します。境界のあるウィンドウと閉じたフィルターを選択：ワークフロー、エージェント、モデル、プロバイダ、エラーコード、ランタイムモード、キャッシュステータス、最適化ID、ステータスクラス、トークン/コスト/レイテンシ境界、圧縮、またはモニター判定。
有用なグループ化：
workflow— コストや障害を引き起こしているジョブを見つける；model— モデル構成を比較する；session— リトライやループ動作を特定する；- グループ化なし — 正確なトレースを特定する。
疑わしいコホートを対照コホートまたは以前の境界ウィンドウと比較します。1つの高コストトレースから因果関係を推論しないでください。
CLIフォールバック：
caveman cloud traces search \
--workflow <slug> \
--from <RFC3339> \
--to <RFC3339> \
--sort total_cost_usd \
--dir desc \
--limit 25
ステップ4 — 代表的なトレースを検査する
少数の高シグナルトレースIDに対して caveman_trace_get を呼び出します。リクエストとスパンのメタデータ、レイテンシ、ステータス、トークン数、キャッシュ状態、適用されたオプティマイザー、モデルルートを検査します。ペイロードの取得はオフに保ちます。
CLIフォールバック：
caveman cloud traces show <trace-id> --spans
ステップ5 — 報告する
以下の形式を使用します：
## Cavemanエビデンスレビュー
スコープ：<プロジェクト> · <開始日時> から <終了日時>
計測コスト：<値と基準>
検証済み節約額：<台帳値、別に保持>
推論ヘッドルーム：<1日あたりの範囲、別に保持>
発見事項：
1. <発見事項> — <集計エビデンス> — トレース <ID>
2. <発見事項> — <集計エビデンス> — トレース <ID>
未証明：
- <対照群、トレース、または評価がないもっともらしい説明>
次の読み取り専用チェック：
- <1つの境界クエリ>
可能なアクション：
- <提案のみ；読み取り専用ライフサイクルレビューとセーフティゲートには caveman-manage を使用>
データがない場合は、欠落しているシグナルを名前で示し、最も強い裏付けのあるステートメントで止めてください。カタログ小計を請求書にしたり、実験結果を検証済み節約額に変換したりしないでください。