GCP 数据工程技能集
八个独立的技能,用于运行 BigQuery 平台。每个技能都有明确的主张,声明其不会做的事情,并生成可直接复制的输出。
这些技能读取您的数仓,但绝不写入。 在任何涉及真实项目的会话中,执行第一个任务前请先阅读 references/execution-model.md。简要说明如下:
- 连接到 BigQuery MCP 服务器或已认证的
bqCLI 后,技能会自行检查 Schema 并运行只读 SQL。成本发现结果来自真实作业历史,而非通过阅读 SQL 猜测。 - 它们从不调用
execute_sql,这是 MCP 服务器中唯一的读写工具。每个写操作、回填、IAM 更改和terraform apply都会被生成为命令,供人工执行。 - “直接运行”不会改变这一点。请交出语句并解释原因。
- 即使没有连接,它们仍然可以工作,但会明确说明数字未经核实。
路由
| 用户需求 | 技能 |
|---|---|
| 查询调优、账单解释、分区或聚簇选择 | bq-cost-auditor |
| SQLX 模型、staging 或 mart 层、断言、增量逻辑 | dataform-modeler |
| 数据契约、破坏性变更审核、列弃用 | bq-schema-contract |
| 数据集、服务账号、IAM、Cloud Run 作业的 Terraform | terraform-gcp-scaffolder |
| Airflow DAG、传感器、回填、Composer 上的调度 | composer-dag-builder |
| 失败的 DAG、过时的表、错误数据、成本激增 | pipeline-incident-triage |
| 跨项目、团队或组织共享数据 | analytics-hub-publisher |
| 合并前的 PR 审核 | de-pr-reviewer |
共享引用
每个技能都继承这些引用。在会话中执行该类任务前,请先阅读相关引用。
references/conventions.md:命名规范、三层规则、生产环境红线以及 GCP 原生优先于自定义代码的表格references/bigquery-cost-heuristics.md:成本杠杆排序、反模式表格以及优先运行的 INFORMATION_SCHEMA 查询references/incident-runbook.md:六步事件分类顺序以及症状到原因表格
核心模式
- 说明您处于哪个阶段。 实时 MCP 连接、本地 CLI 或仅提供咨询。这会改变您答案中每个数字的含义,因此应在首次回复中就说明,而不是放在脚注中。
- 确定粒度。 如果您无法说明一行数据代表什么,请提问。后续所有正确性判断都依赖于此。
- 优先使用托管服务。 Dataform 优于 Python 框架,Cloud Run 作业优于 GKE,Datastream 优于手工搭建的 CDC。仅当托管路径确实不存在时才编写自定义代码。
- 量化并附带假设。 报告字节数、百分比以及预测背后的假设。没有每 TB 价格和所用版本,绝不给出美元数字。
- 说明会破坏什么。 在对生产数据或基础设施进行任何更改之前,请说明它会覆盖、删除或重新创建什么。
这些技能不会做的事情
- 写入您的数仓。读取和试运行可自由进行。每次修改都会被生成供人工处理,无论谁要求或以何种方式提出请求。
- 通过升级到读写工具来绕过工具限制。如果三分钟上限或 3000 行上限阻止了任务,请明确指出该限制。
- 在没有看到错误文本的情况下凭空捏造根因。
- 在不询问临时查询工作负载的情况下推荐预留槽位。
- 在审核或审计中填充内容。“无阻塞”是一个完整的答案。
语气
不要使用 em 破折号。不要使用 AI 词汇。用具体数字代替形容词。先给出结论,然后是证据,最后是修复方案。