Spark & PySpark
幾乎每個緩慢的 Spark 任務都離不開三個原因之一:可避免的洗牌、傾斜的鍵值,或是逐行透過 Python 傳遞資料。最常見的錯誤是在讀取執行計畫之前就先調整叢集規模——花更多錢買更多執行器來執行同樣浪費的 DAG,只是跑得更快而已。
操作流程
步驟 1:收集輸入
- 任務的程式碼;如果是緩慢的任務,則需要 Spark UI 中該階段的檢視(任務持續時間分佈、洗牌讀取/寫入大小)以及
df.explain(True)的輸出。 - 輸入資料的大小與格式,以及每個連線兩側資料表的大小。
- 叢集配置:執行器數量、核心數與記憶體。
- 任務是新撰寫還是調校既有任務——調校時,先在動程式碼之前從執行計畫進行診斷。
步驟 2:從合理的會話開始
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
spark = (
SparkSession.builder
.appName("etl")
.config("spark.sql.shuffle.partitions", "200")
.config("spark.sql.adaptive.enabled", "true")
.getOrCreate()
)
啟用自適應查詢執行 (AQE);它會在執行階段合併洗牌分割區並切換連線策略。然後審慎設定 spark.sql.shuffle.partitions:目標是每個洗牌分割區 100-200 MB,因此分割區數 ≈ 洗牌資料大小 ÷ 128 MB,且至少要是總執行器核心數的 2-3 倍,以確保沒有核心閒置。
步驟 3:停留在 DataFrame API 中,遠離 Python
DataFrame 操作會透過 Catalyst 和 Tungsten 進行,獲得查詢最佳化與堆外記憶體的好處。只有在沒有 DataFrame 原生功能可用時,才降級使用 RDD。Python UDF 會將每一行序列化到 Python 工作者再序列化回來,破壞程式碼生成。優先順序如下:
- 內建的
pyspark.sql.functions(例如F.regexp_extract、F.when)。 - Pandas(向量化)UDF,當 Python 無法避免時使用。
- 純 Python UDF 只作為最後的手段。
from pyspark.sql.functions import pandas_udf
@pandas_udf("double")
def normalize(s):
return (s - s.mean()) / s.std()
步驟 4:根據大小選擇連線策略
- 當較小的一側能放進記憶體時,使用廣播連線。Spark 會自動廣播低於
spark.sql.autoBroadcastJoinThreshold(預設 10 MB)的資料表;當執行器記憶體允許時,可以明確廣播數百 MB 的資料表,並將約 1 GB 視為實務上限——廣播會將資料表複製到每個執行器,判斷錯誤會導致任務 OOM。
from pyspark.sql.functions import broadcast
result = large.join(broadcast(small), "key")
- 在連線前先過濾與投影欄位,以縮小洗牌量;每個被移除的欄位與列都是節省的洗牌位元組。
- 兩張大表 → 接受排序合併連線,但先檢查傾斜(步驟 5)。
步驟 5:診斷並修正傾斜
傾斜的症狀:階段已完成,只剩一兩個任務;最大任務持續時間約為中位數的 3-5 倍以上;Spark UI 中某個洗牌讀取分割區遠大於其他分割區。AQE 的傾斜連線處理會在分割區同時大於中位數分割區大小的 5 倍且超過 256 MB(預設值)時拆分割區——請在執行計畫中確認它是否觸發。當 AQE 無法解決時(例如傾斜的聚合),對熱鍵進行加鹽:在大側的鍵上附加隨機後綴 0..N,將小側在所有 N 個後綴上展開,進行連線,然後移除鹽值。選擇 N ≈ 傾斜因子(某個鍵是中位數的 20 倍時,取 N=20)。
步驟 6:控制分割區與輸出佈局
repartition(n, col)會進行完整的洗牌以平衡資料;在進行大範圍寫入前使用。coalesce(n)減少分割區數量而不引發洗牌;用於避免產生過小的輸出檔案。- 目標輸出檔案大小為 128 MB - 1 GB;數千個小檔案會懲罰每個下游讀取者。
- 只根據低基數欄位(日期、地區——幾十到幾百個值,絕不能是 ID)進行分割區輸出:
df.write.partitionBy("dt").mode("overwrite").parquet("/data/out")
步驟 7:只快取重複使用的資料
只有在 DataFrame 在 DAG 中被多次使用時才進行快取,具體化它,並在使用完畢後取消快取:
df.cache()
df.count() # 具體化
# ... 重複使用 df ...
df.unpersist()
快取只使用一次的 DataFrame 浪費記憶體,並可能逐出原本重要的資料。
步驟 8:用執行計畫驗證
重新執行 df.explain(True) 並確認預期的策略出現(BroadcastHashJoin、推送的過濾條件、沒有 Exchange 出現則表示已被消除)。讀取欄位式格式(Parquet、ORC)以使謂詞下推生效,絕對不要對大型資料執行 collect() 到驅動程式,並且在鏈式調用中優先使用 F.col 引用而非字串欄位。
實際範例:錯誤 vs 正確的連線
錯誤——一個 2 TB 的事件資料表連接到一個 200 MB 的維度表,全寬度,使用 Python UDF 進行解析:
result = (events.join(dims, "store_id") # sort-merge:洗牌所有 2 TB
.withColumn("region", parse_region_udf("meta")) # 逐行 Python
.filter(F.col("dt") == "2024-06-01")) # 在連線之後才過濾
執行計畫顯示兩側都有 Exchange(2 TB 被洗牌),且 UDF 阻斷了程式碼生成。
正確——先過濾與投影,廣播維度表,使用內建函數:
result = (events
.filter(F.col("dt") == "2024-06-01") # 先修剪到約 30 GB
.select("store_id", "amount", "meta")
.join(broadcast(dims.select("store_id", "region_code")), "store_id")
.withColumn("region", F.regexp_extract("meta", r"region=(\w+)", 1)))
現在執行計畫顯示 BroadcastHashJoin,且大側沒有 Exchange:約掃描 30 GB,大表零洗牌,沒有 Python 邊界。
交付產出
產出修訂後的任務程式碼,加上一份調校備忘錄,內容包含:每個連線的連線策略及大小證據、洗牌分割區設定及其計算依據、發現的任何傾斜(最大 vs 中位數任務比率)及採用的修正措施、快取決策、輸出檔案大小預期,以及調校前後的 explain 差異。
不可做的事
- 絕對不要在沒有估算大小的情況下廣播資料表——誤判的廣播會同時讓所有執行器 OOM。
- 在檢查
pyspark.sql.functions之前,絕對不要撰寫 Python UDF;幾乎所有字串、日期與條件邏輯都有內建函數可用。 - 絕對不要對大型 DataFrame 執行
collect()或toPandas();這會將叢集的所有資料經由一個驅動程式傳遞。 - 絕對不要根據高基數欄位進行分割區輸出——會產生數百萬個目錄,每個目錄只有一行。
- 絕對不要為了某個因傾斜而變慢的階段而增加執行器;更多核心無法拆開一個分割區。
- 絕對不要反射性地快取;只快取在後續步驟中重複使用的 DataFrame,並在使用後取消快取。
品質標準
完成的任務只有在滿足以下條件時才算通過:每個連線都標明其策略與大小證據;spark.sql.shuffle.partitions 是根據資料大小推導而來,而非保留習慣值;Spark UI 中洗牌階段的任務持續時間沒有超過中位數的約 3 倍(或傾斜已說明並修正);沒有純 Python UDF 在存在內建函數的情況下存活;輸出檔案落在 128 MB - 1 GB 的範圍內;且最終的 explain 確認了預期的執行計畫。