数据吞吐加速器 是做什么的？
当瓶颈在于移动、转换或保存大量数据时，使用本技能。目标不仅仅是速度，而是以更快的速度将正确的数据落地到正确的位置，并附带可验证的证据。
首要区分
在优化之前，先区分以下环节：
- 源提取速度；
- 网络传输速度；
- 仓库/加载速度；
- 转换速度；
- 服务表新鲜度；
- 作业运行时实时数据的增长。
管道可能“很快”，但如果新数据到达的速度比最终追赶窗口更快，它仍可能显得滞后。
快速路径启发式方法
- 将计算移动到数据已存在的位置。
- 对于已落地的大文件，优先使用仓库原生的扫描、连接和追加操作。
- 使用清单或检查点，跳过已完成的文件/分区。
- 使用与读取和追加模式相匹配的分区和聚簇。
- 批量处理小文件、请求和写入。
- 通过唯一键、清单或可替换的临时表使写入操作幂等。
- 保持原始表、派生表和服务表分开问责。
工作流程
- 读取当前源、目标和清单契约。
- 测量积压：外部文件数、清单行数、原始行数、派生行数、最小/最大时间戳以及未处理计数。
- 运行一个安全的追赶或样本基准测试。
- 比较不同变体：批大小、工作线程数、仓库SQL、文件分组、临时表形状和清单更新方法。
- 仅推进最快且能保持计数和时间戳一致性的路径。
- 将该路径编码为CLI、定时任务、工作流或运行手册。
- 编码路径执行后，重新运行最终对账。
对账输出
使用硬对账块：
数据吞吐结果：
- 发现的源文件：294
- 本次运行处理的文件数：294
- 添加的原始行：9,683,598
- 添加的派生行：8,917,585
- 回读时剩余的尾部文件：24
- 运行时间：38.7秒
- 正确性门控：清单计数与表最大时间戳匹配
护栏
- 不要为了优化指标而删除原始数据。
- 不要静默跳过失败的文件。
- 不要混淆历史回填状态与实时数据的新鲜度。
- 在目标表和清单达成一致之前，不要声称管道已完成。
- 对于金融、医疗、受监管或影响客户的数据，保留重放证据和审批门控。