Community生產力與協作github.com

JuliusBrussee/caveman-evidence-review

Caveman Cloud 證據的唯讀審查:成本、Cave Score、工作流程、追蹤、延遲、錯誤、路由、節省。當被問到 Caveman 發現了什麼或 LLM 花費去向時使用。

caveman-evidence-review 是什麼?

此技能提供對 Caveman Cloud 觀測數據的唯讀審查功能,專為開發者設計,以回答關於 LLM 花費、Cave Score、工作流程、追蹤、延遲、錯誤及節省等問題。它支援透過 MCP 或 CLI 進行操作,嚴格遵守將不同成本類型(例如列表價格、推斷的每日餘裕、驗證的帳本節省)分開的規則,絕不混雜。技能透過五個步驟執行:載入專案上下文、建立基線報告、使用追蹤搜尋測試假設、檢查代表性追蹤,最後以結構化格式報告發現。它明確適用於唯讀情境,禁止任何啟動、批准或回滾實驗的操作,且絕對不能擷取提示或完成內容的負載,除非使用者明確要求。輸出會區分已驗證的證據與未經證實的解釋,並將空結果視為無訊號,而非零成本或零風險。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/JuliusBrussee/caveman/tree/main/skills/caveman-evidence-review

Installed? Explore more 生產力與協作 skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

審查 Caveman 證據

以唯讀操作員的身份運作。根據目前的 Caveman 資料得出結論,而非來自儲存庫的猜測。切勿從此技能啟動、核准、取消或回滾實驗。

嚴格規則

  1. 將這些類別分開存放:
    • 測量的提供者完整列表價格成本;
    • 推斷 的每日餘裕;
    • 已驗證 的帳本節省;
    • 證據成本。 絕不新增或重新標籤它們。
  2. 除非使用者明確要求審查負載,否則不要擷取提示、完成、工具或工件負載。預設審查中,元數據、跨度、時間、模型、令牌計數、狀態和最佳化器歸因已足夠。
  3. 每次讀取都限定在 Caveman 上下文所選定的專案範圍內。絕不提供組織 ID。
  4. 空結果表示目前沒有訊號的證據,而非零成本或零風險。
  5. 引用追蹤 ID 和確切的時間視窗。不要僅從彙總數據就斷言因果關係。

步驟 1 — 載入上下文

優先使用 MCP:

caveman_context {}

CLI 備用方案:

caveman cloud whoami
caveman cloud projects list

如果缺少登入或專案選擇,則停止。要求使用者執行 caveman login 或選擇一個專案;切勿猜測。

步驟 2 — 建立基線

使用 caveman_report 獲取:

  • overview
  • costs
  • score
  • workflows
  • verified_savings

然後使用 caveman_plan 獲取排序後的每日餘裕。如果問題範圍狹窄,則跳過不相關的報告。讀取能回答問題的最短集合。

CLI 備用方案:

caveman cloud costs
caveman cloud score
caveman cloud plan --json

在解釋趨勢方向之前,先說明報告的時間視窗和基準。

步驟 3 — 使用追蹤測試主要解釋

使用 caveman_trace_search。選擇一個有限的時間視窗和封閉的過濾器:工作流程、代理程式、模型、提供者、錯誤碼、執行模式、快取狀態、最佳化 ID、狀態類別、令牌/成本/延遲邊界、壓縮或監控判決。

有用的分組方式:

  • workflow — 找出驅動成本或失敗的工作;
  • model — 比較模型組合;
  • session — 隔離重試或迴圈行為;
  • 未分組 — 識別確切追蹤。

將可疑組別與對照組別或更早的有限時間視窗進行比較。不要從一個昂貴的追蹤就推斷因果關係。

CLI 備用方案:

caveman cloud traces search \
  --workflow <slug> \
  --from <RFC3339> \
  --to <RFC3339> \
  --sort total_cost_usd \
  --dir desc \
  --limit 25

步驟 4 — 檢查代表性追蹤

對少量高訊號的追蹤 ID 呼叫 caveman_trace_get。檢查請求和跨度元數據、延遲、狀態、令牌計數、快取狀態、已套用的最佳化器和模型路由。保持負載檢索關閉。

CLI 備用方案:

caveman cloud traces show <trace-id> --spans

步驟 5 — 報告

使用以下格式:

## Caveman 證據審查

範圍:<project> · <from> 到 <to>
測量成本:<值與基準>
已驗證節省:<帳本值,保持分離>
推斷餘裕:<每日範圍,保持分離>

發現:
1. <發現> — <彙總證據> — 追蹤 <ids>
2. <發現> — <彙總證據> — 追蹤 <ids>

未經證實:
- <缺乏對照組、追蹤或評估的合理解釋>

下一次唯讀檢查:
- <一個有限的查詢>

可能動作:
- <僅提案;使用 caveman-manage 進行唯讀生命週期審查和安全閘門>

如果缺少資料,請指明缺少的訊號,並在最強有力的支援陳述處停止。絕不要將目錄小計變成發票,也不要將實驗結果變成已驗證的節省。

Individual skills in this repo

This repo contains 12 individual skills — each has its own dedicated page.

JuliusBrussee/caveman-discover

Find and label every LLM workflow in the repository so Caveman Cloud groups spend by workflow instead of one bucket. Use for "discover workflows" or breaking LLM spend down by workflow.

JuliusBrussee/caveman-explore

Read-only repository explorer for cold-start orientation, broad cross-file localization, or when a direct search failed. Skip it when the exact file or symbol is already named. Returns path:line citations only; its reads stay out of main context.

JuliusBrussee/caveman-learn

Act on a Caveman learn report - review the ranked token sinks, apply cost-lowering fixes with per-edit consent, and report what those fixes returned. Use when asked to lower an agent's token cost, what caveman has saved, to trim a heavy CLAUDE.md, or to offload re-pasted context into cavemem.

JuliusBrussee/caveman-manage

Inspect Caveman Cloud's experiment lifecycle and block unsafe execution. Use when asked to start, approve, cancel, promote or roll back a Caveman experiment.

JuliusBrussee/caveman-optimize

Turn a Caveman optimization observation into an operator-chosen candidate with a paired baseline evaluation. Use when asked to inspect or evaluate a Caveman optimization report. Needs explicit approval.

JuliusBrussee/caveman-setup

Wire a repository through the Caveman Cloud gateway so every LLM request is measured, with no behavior change. Use for "set up caveman" or adding LLM spend observability.

JuliusBrussee/investigate-first

Diagnose ambiguous failures before editing. Use for unknown causes, intermittent behavior, performance regressions, or investigations needing evidence-ranked hypotheses.

JuliusBrussee/lean-build

Build feature work with high overbuilding risk. Use for new behavior, product slices, or integrations where repository reuse, strict scope, and an explicit stop condition matter.

JuliusBrussee/migration

Implement reversible compatibility-safe transitions. Use for schema, data, API, protocol, configuration, or dependency migrations requiring rollback and preservation proof.

JuliusBrussee/safe-refactor

Restructure code while preserving behavior. Use for extraction, consolidation, ownership moves, or cleanup where verification must bracket structural edits.

JuliusBrussee/surgical-patch

Fix bugs and small behavior changes at the narrowest responsible layer. Use when regression proof, preserved surrounding behavior, and task-relevant tests matter.

JuliusBrussee/verify-and-stop

Prove existing work meets acceptance conditions without expanding scope. Use for validation-only tasks, completion checks, focused gate runs, and last-mile proof.

相關技能