資料吞吐量加速器 是做什麼的？
當瓶頸在於移動、轉換或儲存大量資料時，請使用此技能。目標不僅是速度，而是在正確的位置以更快的速度讓資料正確落地，並提供證明。
首要區分
在最佳化之前，請先區分以下環節：
- 來源提取速度；
- 網路傳輸速度；
- 倉儲/載入速度；
- 轉換速度；
- 服務資料表的新鮮度；
- 作業執行期間的即時資料增長。
管線可能「很快」，但如果新資料的到達速度超過最終追趕窗口，它仍然可能看起來落後。
快速路徑啟發式策略
- 將運算移到資料所在的位置。
- 對於大型落地檔案，偏好使用倉儲原生的掃描、合併與附加操作。
- 使用清單或檢查點，以便跳過已完成的檔案/分割區。
- 使用符合讀取與附加模式的分區和叢集化。
- 批次處理小型檔案、請求和寫入操作。
- 透過唯一鍵、清單或可取代的暫存區，使寫入操作具有幂等性。
- 分別核算原始資料、衍生資料和服務資料表。
工作流程
- 讀取目前的來源、目標和清單合約。
- 測量 backlog：外部檔案、清單列數、原始列數、衍生列數、最小/最大時間戳記以及未處理計數。
- 執行安全的追趕或樣本基準測試。
- 比較變體：批次大小、工作者數量、倉儲 SQL、檔案分組、暫存區形狀和清單更新方法。
- 僅推廣能保持計數和時間戳記一致的最快路徑。
- 將該路徑編碼為 CLI、排程作業、工作流程或 runbook。
- 在編碼後的路徑執行完畢後，重新執行最終核算。
核算輸出
使用一個硬性核算區塊：
資料吞吐量結果：
- 發現的來源檔案數：294
- 本次處理的檔案數：294
- 新增的原始列數：9,683,598
- 新增的衍生列數：8,917,585
- 回讀時的剩餘尾端：24 個檔案
- 執行時間：38.7 秒
- 正確性閘門：清單計數與資料表最大時間戳記相符
防護措施
- 請勿為了讓指標更好看而刪除原始資料。
- 請勿靜默跳過失敗的檔案。
- 請勿將歷史回填狀態與即時資料新鮮度混為一談。
- 在目標資料表與清單達成一致之前，請勿宣稱管線已完成。
- 對於金融、醫療保健、法規或影響客戶的資料，請保留重播證據和核准關卡。