O que spark-engineer faz?
Use ao escrever jobs Spark, depurar problemas de desempenho ou configurar clusters para aplicações Apache Spark, pipelines de processamento distribuído de dados ou workloads de big data. Invocar para escrever transformações DataFrame, otimizar consultas Spark SQL, implementar pipelines RDD, ajustar operações de shuffle, configurar memória do executor, processar arquivos .parquet, lidar com particionamento de dados ou construir análises de streaming estruturado.