Community生产力与协作github.com

JuliusBrussee/caveman-evidence-review

对 Caveman Cloud 证据的只读审查:成本、Cave 分数、工作流、追踪、延迟、错误、路由与节省。当用户询问 Caveman 发现了什么或 LLM 花费去向时使用。

caveman-evidence-review 是什么?

该技能提供了一个只读操作界面,用于审查 Caveman Cloud 可观测性数据,包括成本、Cave 分数、工作流、追踪、延迟、错误、路由和节省。它严格区分三种成本衡量指标:按提供商列出的标价成本、推断的每日空间以及已验证的账目节省,并明确禁止添加或重新标注这些类别。该技能遵循一组硬性规则:除非用户明确要求,否则不获取提示词、补全或工具的有效载荷;将每次读取范围限定在 Caveman 上下文选择的项目内;将空结果视为无当前信号,而非零成本或零风险;以及坚持使用追踪 ID 和精确时间窗口进行因果推断。操作步骤包括:加载上下文、使用 `caveman_report` 和 `caveman_plan` 建立基线、利用 `caveman_trace_search` 和 `caveman_trace_get` 进行有界限的追踪分析,最后以标准化的证据审查报告格式呈现结果。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/JuliusBrussee/caveman/tree/main/skills/caveman-evidence-review

Installed? Explore more 生产力与协作 skills: steipete/gemini, steipete/gh-issues, steipete/skill-creator · View all 6 →

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

审查 Caveman 证据

以只读操作员的身份行动。根据当前的 Caveman 数据得出结论,而非来自仓库的猜测。永远不要通过此技能启动、批准、取消或回滚实验。

硬性规则

  1. 保持以下分类相互独立:
    • 按提供商列出的标价成本;
    • 推断 的每日空间;
    • 已验证 的账目节省;
    • 证据成本。 切勿添加或重新标注它们。
  2. 除非用户明确要求审查有效载荷,否则不要获取提示词、补全、工具或工件的有效载荷。对于默认审查,元数据、跨度、时间、模型、令牌计数、状态和优化器归属已足够。
  3. 每次读取的范围仅限于 Caveman 上下文所选的项目。切勿提供组织 ID。
  4. 空结果意味着当前无信号,而非零成本或零风险。
  5. 引用追踪 ID 和精确的时间窗口。不要仅凭聚合数据就断言因果关系。

第 1 步 — 加载上下文

优先使用 MCP:

caveman_context {}

CLI 后备方案:

caveman cloud whoami
caveman cloud projects list

如果缺少登录或项目选择,则停止。要求用户运行 caveman login 或选择一个项目;切勿猜测。

第 2 步 — 建立基线

使用 caveman_report 获取:

  • overview
  • costs
  • score
  • workflows
  • verified_savings

然后使用 caveman_plan 获取按排名排列的每日空间。如果问题范围较窄,可跳过无关报告。读取能够回答该问题的最短报告集。

CLI 后备方案:

caveman cloud costs
caveman cloud score
caveman cloud plan --json

在解释趋势之前,说明报告窗口和依据。

第 3 步 — 使用追踪测试主要解释

使用 caveman_trace_search。选择一个有界限的时间窗口和闭合过滤器:工作流、智能体、模型、提供商、错误代码、运行时模式、缓存状态、优化 ID、状态类别、令牌/成本/延迟边界、压缩或监控判定。

有用的分组:

  • workflow — 查找导致成本或故障的任务;
  • model — 比较模型组合;
  • session — 隔离重试或循环行为;
  • 无分组 — 识别精确追踪。

将可疑的同类组与对照组或更早的有界时间窗口进行比较。不要仅凭一次昂贵的追踪就推断因果关系。

CLI 后备方案:

caveman cloud traces search \
  --workflow <slug> \
  --from <RFC3339> \
  --to <RFC3339> \
  --sort total_cost_usd \
  --dir desc \
  --limit 25

第 4 步 — 检查代表性追踪

对少量高信号追踪 ID 调用 caveman_trace_get。检查请求和跨度元数据、延迟、状态、令牌计数、缓存状态、已应用的优化器和模型路由。保持有效载荷检索关闭。

CLI 后备方案:

caveman cloud traces show <trace-id> --spans

第 5 步 — 报告

使用以下格式:

## Caveman 证据审查

范围:<项目> · <起始时间> 到 <结束时间>
测量成本:<数值和依据>
已验证节省:<账目值,保持独立>
推断空间:<每日区间,保持独立>

发现:
1. <发现> — <聚合证据> — 追踪 <ID>
2. <发现> — <聚合证据> — 追踪 <ID>

未证明:
- <缺乏对照组、追踪或评估的合理解释>

下一个只读检查:
- <一个有边界的查询>

可能采取的行动:
- <仅限提议;使用 caveman-manage 进行只读生命周期审查和安全门>

如果数据缺失,则说明缺失的信号,并在最有力的支持陈述处停止。切勿将目录小计转化为发票,或将实验结果转化为已验证的节省。

Individual skills in this repo

This repo contains 12 individual skills — each has its own dedicated page.

JuliusBrussee/caveman-discover

Find and label every LLM workflow in the repository so Caveman Cloud groups spend by workflow instead of one bucket. Use for "discover workflows" or breaking LLM spend down by workflow.

JuliusBrussee/caveman-explore

Read-only repository explorer for cold-start orientation, broad cross-file localization, or when a direct search failed. Skip it when the exact file or symbol is already named. Returns path:line citations only; its reads stay out of main context.

JuliusBrussee/caveman-learn

Act on a Caveman learn report - review the ranked token sinks, apply cost-lowering fixes with per-edit consent, and report what those fixes returned. Use when asked to lower an agent's token cost, what caveman has saved, to trim a heavy CLAUDE.md, or to offload re-pasted context into cavemem.

JuliusBrussee/caveman-manage

Inspect Caveman Cloud's experiment lifecycle and block unsafe execution. Use when asked to start, approve, cancel, promote or roll back a Caveman experiment.

JuliusBrussee/caveman-optimize

Turn a Caveman optimization observation into an operator-chosen candidate with a paired baseline evaluation. Use when asked to inspect or evaluate a Caveman optimization report. Needs explicit approval.

JuliusBrussee/caveman-setup

Wire a repository through the Caveman Cloud gateway so every LLM request is measured, with no behavior change. Use for "set up caveman" or adding LLM spend observability.

JuliusBrussee/investigate-first

Diagnose ambiguous failures before editing. Use for unknown causes, intermittent behavior, performance regressions, or investigations needing evidence-ranked hypotheses.

JuliusBrussee/lean-build

Build feature work with high overbuilding risk. Use for new behavior, product slices, or integrations where repository reuse, strict scope, and an explicit stop condition matter.

JuliusBrussee/migration

Implement reversible compatibility-safe transitions. Use for schema, data, API, protocol, configuration, or dependency migrations requiring rollback and preservation proof.

JuliusBrussee/safe-refactor

Restructure code while preserving behavior. Use for extraction, consolidation, ownership moves, or cleanup where verification must bracket structural edits.

JuliusBrussee/surgical-patch

Fix bugs and small behavior changes at the narrowest responsible layer. Use when regression proof, preserved surrounding behavior, and task-relevant tests matter.

JuliusBrussee/verify-and-stop

Prove existing work meets acceptance conditions without expanding scope. Use for validation-only tasks, completion checks, focused gate runs, and last-mile proof.

相关技能