CommunityPesquisa e Análise de Dadosgithub.com

Oak-B/bigdata-analysis-skill

Habilidade de codificação com IA para ETL com Hive/Impala/Spark — 10 regras para prevenir bugs silenciosos de dados no HDFS/YARN.

O que é bigdata-analysis-skill?

Oak-B/bigdata-analysis-skill é uma habilidade de codificação com IA focada no desenvolvimento de ETL de Big Data, especialmente direcionada para os frameworks Hive, Impala e Spark. Ela oferece 10 regras cuidadosamente elaboradas para ajudar desenvolvedores a prevenir bugs silenciosos de dados (silent data bugs) em ambientes HDFS e YARN, erros que são difíceis de detectar e podem causar sérios problemas de qualidade de dados. A habilidade cobre as melhores práticas para escrita de consultas, gerenciamento de partições de dados, otimização de recursos e agendamento de tarefas, fornecendo sugestões de código acionáveis e estratégias de otimização. Seja você um engenheiro de dados, analista de dados ou desenvolvedor de agentes de IA, se beneficiará desta habilidade, especialmente ao construir pipelines de dados estáveis e eficientes. Compatível com as principais plataformas de codificação com IA, como Claude Code, Cursor e Codex, os usuários podem ativar essas regras por meio de prompts simples para revisar ou gerar código ETL mais robusto. Seguindo essas regras, as equipes podem reduzir significativamente falhas em produção devido a inconsistências ou perdas de dados, melhorando a confiabilidade e a manutenibilidade dos pipelines de dados.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add Oak-B/bigdata-analysis-skill

Installed? Explore more Pesquisa e Análise de Dados skills: obra/superpowers, affaan-m/quarkus-verification, affaan-m/uspto-database · View all 6 →

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que bigdata-analysis-skill faz?

AI coding skill for Hive/Impala/Spark ETL — 10 rules to prevent silent data bugs on HDFS/YARN

Habilidades Relacionadas