¿Qué hace Acelerador de Rendimiento de Datos?
Utilice este skill cuando el cuello de botella sea mover, transformar o guardar grandes cantidades de datos. El objetivo no es solo la velocidad. El objetivo es lograr que los datos correctos lleguen más rápido al lugar correcto, con evidencia.
Primera Distinción
Separe estos aspectos antes de optimizar:
- velocidad de extracción del origen;
- velocidad de transferencia de red;
- velocidad de carga/almacén;
- velocidad de transformación;
- frescura de la tabla de servicio;
- crecimiento en vivo de la cola mientras el trabajo se ejecuta.
Una tubería puede ser "rápida" y aun así verse retrasada si los nuevos datos llegan más rápido que la ventana final de puesta al día.
Heurísticas de Ruta Rápida
- Mueva el cómputo a donde ya están los datos.
- Prefiera escaneos, uniones y anexiones nativas del almacén para archivos grandes.
- Utilice manifiestos o puntos de control para omitir archivos/particiones ya procesados.
- Utilice particionamiento y agrupación que coincidan con el patrón de lectura y anexión.
- Agrupe archivos, solicitudes y escrituras pequeñas.
- Haga que las escrituras sean idempotentes mediante claves únicas, manifiestos o áreas de staging reemplazables.
- Mantenga los datos sin procesar, derivados y las tablas de servicio con contabilidad separada.
Flujo de Trabajo
- Lea los contratos actuales de origen, destino y manifiesto.
- Mida el backlog: archivos externos, filas de manifiesto, filas sin procesar, filas derivadas, marcas de tiempo mín/máx y recuentos no procesados.
- Ejecute una puesta al día segura o un benchmark de muestra.
- Compare variantes: tamaño de lote, número de trabajadores, SQL de almacén, agrupación de archivos, forma de staging y método de actualización de manifiesto.
- Promueva solo la ruta más rápida que mantenga coherentes los recuentos y las marcas de tiempo.
- Codifique la ruta como una CLI, un trabajo programado, un flujo de trabajo o un runbook.
- Vuelva a ejecutar la contabilidad final después de que se ejecute la ruta codificada.
Salida de Contabilidad
Utilice un bloque de contabilidad estricto:
Resultado de rendimiento de datos:
- Archivos fuente descubiertos: 294
- Archivos procesados en esta ejecución: 294
- Filas sin procesar agregadas: 9,683,598
- Filas derivadas agregadas: 8,917,585
- Cola restante: 24 archivos al momento de la relectura
- Tiempo de ejecución: 38.7s
- Compuerta de corrección: los recuentos de manifiesto y las marcas de tiempo máximas de las tablas coinciden
Salvaguardas
- No elimine datos sin procesar para que una métrica se vea mejor.
- No omita archivos fallidos en silencio.
- No mezcle el estado del relleno histórico con la frescura de la cola en vivo.
- No considere una tubería completa hasta que las tablas de destino y el manifiesto estén de acuerdo.
- Para datos financieros, de salud, regulados o que afecten al cliente, conserve la evidencia de reproducción y los puntos de aprobación.