Communitygithub.com

rk-chavali/gcp-de-skills

面向 Claude Code 和 Codex 的只读 GCP 数据工程技能集。基于真实 BigQuery 作业历史进行成本审计、Dataform 建模、Schema 契约、Terraform、Composer DAG 和事件分类。MIT 许可。

gcp-de-skills 是什么?

该技能集为 Claude Code 和 Codex 提供了一套专注于 Google Cloud Platform (GCP) 数据工程的只读工具。它包含八个独立的技能,用于管理 BigQuery 平台,包括成本审计、Dataform 建模、Schema 契约管理、Terraform 基础设施即代码、Composer DAG 编排、事件分类等。其核心原则是:所有技能只读取您的数仓,绝不写入。它们通过 BigQuery MCP 服务器或已认证的 bq CLI 运行只读 SQL 来获取真实作业历史,从而提供准确的成本分析,而无需猜测。所有变更操作(如写操作、回填、IAM 更改、terraform apply)都会被生成命令供人工执行,确保安全。该技能集还附带了共享引用文件(如命名规范、成本启发式方法和事件运行手册),以提供上下文指导,并且要求用户首先声明连接状态(实时 MCP、本地 CLI 或仅咨询),以确保答案的透明度和准确性。

兼容平台✓Claude Code✓Codex CLI~Cursor
npx skills add rk-chavali/gcp-de-skills

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

GCP 数据工程技能集

八个独立的技能,用于运行 BigQuery 平台。每个技能都有明确的主张,声明其不会做的事情,并生成可直接复制的输出。

这些技能读取您的数仓,但绝不写入。 在任何涉及真实项目的会话中,执行第一个任务前请先阅读 references/execution-model.md。简要说明如下:

  • 连接到 BigQuery MCP 服务器或已认证的 bq CLI 后,技能会自行检查 Schema 并运行只读 SQL。成本发现结果来自真实作业历史,而非通过阅读 SQL 猜测。
  • 它们从不调用 execute_sql,这是 MCP 服务器中唯一的读写工具。每个写操作、回填、IAM 更改和 terraform apply 都会被生成为命令,供人工执行。
  • “直接运行”不会改变这一点。请交出语句并解释原因。
  • 即使没有连接,它们仍然可以工作,但会明确说明数字未经核实。

路由

用户需求技能
查询调优、账单解释、分区或聚簇选择bq-cost-auditor
SQLX 模型、staging 或 mart 层、断言、增量逻辑dataform-modeler
数据契约、破坏性变更审核、列弃用bq-schema-contract
数据集、服务账号、IAM、Cloud Run 作业的 Terraformterraform-gcp-scaffolder
Airflow DAG、传感器、回填、Composer 上的调度composer-dag-builder
失败的 DAG、过时的表、错误数据、成本激增pipeline-incident-triage
跨项目、团队或组织共享数据analytics-hub-publisher
合并前的 PR 审核de-pr-reviewer

共享引用

每个技能都继承这些引用。在会话中执行该类任务前,请先阅读相关引用。

  • references/conventions.md:命名规范、三层规则、生产环境红线以及 GCP 原生优先于自定义代码的表格
  • references/bigquery-cost-heuristics.md:成本杠杆排序、反模式表格以及优先运行的 INFORMATION_SCHEMA 查询
  • references/incident-runbook.md:六步事件分类顺序以及症状到原因表格

核心模式

  1. 说明您处于哪个阶段。 实时 MCP 连接、本地 CLI 或仅提供咨询。这会改变您答案中每个数字的含义,因此应在首次回复中就说明,而不是放在脚注中。
  2. 确定粒度。 如果您无法说明一行数据代表什么,请提问。后续所有正确性判断都依赖于此。
  3. 优先使用托管服务。 Dataform 优于 Python 框架,Cloud Run 作业优于 GKE,Datastream 优于手工搭建的 CDC。仅当托管路径确实不存在时才编写自定义代码。
  4. 量化并附带假设。 报告字节数、百分比以及预测背后的假设。没有每 TB 价格和所用版本,绝不给出美元数字。
  5. 说明会破坏什么。 在对生产数据或基础设施进行任何更改之前,请说明它会覆盖、删除或重新创建什么。

这些技能不会做的事情

  • 写入您的数仓。读取和试运行可自由进行。每次修改都会被生成供人工处理,无论谁要求或以何种方式提出请求。
  • 通过升级到读写工具来绕过工具限制。如果三分钟上限或 3000 行上限阻止了任务,请明确指出该限制。
  • 在没有看到错误文本的情况下凭空捏造根因。
  • 在不询问临时查询工作负载的情况下推荐预留槽位。
  • 在审核或审计中填充内容。“无阻塞”是一个完整的答案。

语气

不要使用 em 破折号。不要使用 AI 词汇。用具体数字代替形容词。先给出结论,然后是证据,最后是修复方案。

相关技能