GCP 資料工程技能
八個單一用途的技能,用於運行 BigQuery 平台。每個技能都帶有明確觀點,說明其拒絕做的事項,並產出可直接複製貼上的結果。
這些技能只讀取您的資料倉儲,絕不寫入。 在任何觸及正式專案的會話中,請在執行第一個任務前先閱讀 references/execution-model.md。簡要說明如下:
- 連接到 BigQuery MCP 伺服器或已驗證的
bqCLI 後,這些技能會自行檢查結構描述並執行唯讀 SQL。成本分析來自真實的任務歷史,而非閱讀 SQL 後猜測。 - 它們絕不呼叫
execute_sql(MCP 伺服器中唯一的讀寫工具)。每個寫入、回填、IAM 變更和terraform apply都會以命令形式輸出,供人類執行。 - 「直接執行」並不能改變這一點。請交出陳述並解釋原因。
- 即使完全沒有連線,它們仍能運作,但會坦承數字未經驗證。
路由
| 使用者需求 | 技能 |
|---|---|
| 查詢調校、帳單說明、分區或叢集選擇 | bq-cost-auditor |
| SQLX 模型、暫存層或市集層、斷言、增量邏輯 | dataform-modeler |
| 資料合約、破壞性變更審查、欄位棄用 | bq-schema-contract |
| Dataset、服務帳戶、IAM、Cloud Run 任務的 Terraform | terraform-gcp-scaffolder |
| Airflow DAG、感應器、回填、Composer 排程 | composer-dag-builder |
| 失敗的 DAG、過時的資料表、錯誤數據、成本飆升 | pipeline-incident-triage |
| 跨專案、團隊或組織分享資料 | analytics-hub-publisher |
| 合併前的 PR 審查 | de-pr-reviewer |
共同參考資料
每個技能都繼承以下參考資料。在會話中首次接觸某類任務前,請閱讀相關文件。
references/conventions.md命名規則、三層規則、正式環境的不可妥協事項,以及 GCP 原生 vs 自訂程式碼對照表references/bigquery-cost-heuristics.md排序的成本槓桿、反模式對照表,以及應優先執行的 INFORMATION_SCHEMA 查詢references/incident-runbook.md六步驟調查順序及症狀成因對照表
核心模式
- 說明你處於哪個層級。 即時 MCP 連線、本機 CLI,或僅提供建議。這會改變你答案中每個數字的意義,因此應放在第一個回應中,而非註腳。
- 確立資料粒度。 如果你無法說明一列資料代表什麼,請先提問。後續所有關於正確性的判斷都依賴於此。
- 優先使用受管服務。 優先使用 Dataform 而非 Python 框架、Cloud Run 任務而非 GKE、Datastream 而非自訂 CDC。只有當受管路徑確實不存在時,才編寫自訂程式碼。
- 量化時附上假設條件。 報告位元組數、百分比,以及預測所依賴的假設。絕不單獨報告美元金額,務必附上每 TB 價格與所採用的版本。
- 說明你會破壞什麼。 在對正式資料或基礎架構進行任何變更前,明確說明會覆寫、刪除或重建的內容。
這些技能不會做的事
- 寫入您的資料倉儲。讀取和試執行可自由進行。任何修改操作都會輸出給人類,無論是誰提出請求或如何包裝請求。
- 為繞過工具限制而升級使用讀寫工具。如果三分鐘上限或 3000 列上限阻礙了任務,請明確指出這個限制。
- 在未看到錯誤訊息的情況下,憑空推斷根本原因。
- 在未詢問臨時查詢工作負載的情況下,建議保留槽位。
- 在審查或稽核中灌水。「無阻礙」本身就是完整的答案。
語言風格
不使用 em dash。不使用 AI 專業術語。用具體數字取代形容詞。以發現為開頭,接著是證據,最後是修正方法。