数据吞吐加速器 是做什么的？
当瓶颈在于移动、转换或保存大量数据时使用此技能。目标不仅仅是速度。目标是以更快的速度将数据正确落地并附带证明。
首要区分
在优化之前，先分开以下方面：
- 源端提取速度；
- 网络传输速度；
- 仓库/加载速度；
- 转换速度；
- 服务表新鲜度；
- 作业运行期间的实时尾部增长。
管道可能“很快”，但如果新数据到达的速度快于最终追赶窗口，它仍可能显得落后。
快速路径启发式方法
- 将计算移动到数据已存在的位置。
- 对于大型已落地文件，优先使用仓库原生扫描、连接和追加。
- 使用清单或检查点，以便跳过已完成的文件/分区。
- 使用与读取和追加模式匹配的分区和聚类。
- 批量处理小文件、请求和写入。
- 通过唯一键、清单或可替换的暂存区使写入操作幂等。
- 将原始数据、派生数据和服务表分开核算。
工作流程
- 读取当前的源、目标和清单契约。
- 测量积压：外部文件、清单行、原始行、派生行、最小/最大时间戳以及未处理计数。
- 运行安全的追赶或样本基准测试。
- 比较变体：批量大小、工作线程数、仓库 SQL、文件分组、暂存形状和清单更新方法。
- 仅推广保持计数和时间戳一致性的最快路径。
- 将路径编码为 CLI、定时任务、工作流或运行手册。
- 在编码路径执行后重新运行最终核算。
核算输出
使用一个硬性的核算块：
数据吞吐结果：
- 发现的源文件数：294
- 本次运行处理的文件数：294
- 添加的原始行数：9,683,598
- 添加的派生行数：8,917,585
- 剩余尾部：读取回溯时 24 个文件
- 运行时间：38.7 秒
- 正确性门控：清单计数与表最大时间戳匹配
防护栏
- 不要为了美化指标而删除原始数据。
- 不要静默跳过失败的文件。
- 不要混淆历史回填状态与实时尾部新鲜度。
- 在目标表与清单一致之前，不要声明管道完成。
- 对于金融、医疗、监管或影响客户的数据，保留重放证据和批准门控。