Community研究與資料分析github.com

Oak-B/bigdata-analysis-skill

適用於Hive/Impala/Spark ETL的AI編程技能——10條規則,防止HDFS/YARN上的靜默資料錯誤。

bigdata-analysis-skill 是什麼?

Oak-B/bigdata-analysis-skill 是一款專注於大數據ETL開發的AI編程技能,特別針對Hive、Impala和Spark框架。該技能透過10條精心設計的規則,幫助開發者在HDFS和YARN環境下預防靜默資料錯誤(silent data bugs),這些錯誤往往難以檢測且可能導致嚴重的資料品質問題。技能涵蓋了從查詢編寫、資料分區管理、資源優化到任務調度的全流程最佳實踐,並提供了可執行的程式碼建議和優化策略。無論是資料工程師、資料分析師還是AI agent開發者,都能從中受益,尤其在構建穩定、高效的大數據管道時。該技能支援主流AI編程平台,如Claude Code、Cursor和Codex,使用者可以透過簡單的提示詞啟動這些規則來審查或生成更加穩健的ETL程式碼。透過遵循這些規則,團隊可以顯著減少因資料不一致或遺失導致的線上故障,提升資料管道的可靠性和可維護性。

相容平台~Claude Code~Codex CLI~Cursor
npx skills add Oak-B/bigdata-analysis-skill

Installed? Explore more 研究與資料分析 skills: obra/superpowers, affaan-m/quarkus-verification, affaan-m/uspto-database · View all 6 →

在你喜歡的 AI 中提問

開啟一個已預先載入此 Agent Skill 的新對話。

說明文件

bigdata-analysis-skill 是做什麼的?

AI coding skill for Hive/Impala/Spark ETL — 10 rules to prevent silent data bugs on HDFS/YARN

相關技能