Accélérateur de Débit de Données
Utilisez ce skill lorsque le goulot d'étranglement est le déplacement, la transformation ou la sauvegarde de grandes quantités de données. L'objectif n'est pas seulement la rapidité. L'objectif est d'obtenir un atterrissage correct et plus rapide des données au bon endroit, avec preuve.
Première Distinction
Séparez ces aspects avant d'optimiser :
- vitesse d'extraction de la source ;
- vitesse de transfert réseau ;
- vitesse de chargement/entrepôt ;
- vitesse de transformation ;
- fraîcheur des tables de service ;
- croissance en direct (live tail) pendant l'exécution du job.
Un pipeline peut être « rapide » et sembler toujours en retard si de nouvelles données arrivent plus vite que la fenêtre finale de rattrapage.
Heuristiques de Voie Rapide
- Déplacer le calcul là où les données se trouvent déjà.
- Privilégier les scans, jointures et ajouts natifs de l'entrepôt pour les gros fichiers déjà déposés.
- Utiliser des manifests ou points de contrôle pour que les fichiers/partitions déjà traités soient ignorés.
- Utiliser un partitionnement et un clustering qui correspondent au modèle de lecture et d'ajout.
- Grouper les petits fichiers, requêtes et écritures.
- Rendre les écritures idempotentes via des clés uniques, manifests ou zones de staging remplaçables.
- Tenir les tables brutes, dérivées et de service séparément et de manière comptable.
Workflow
- Lire les contrats actuels de la source, de la cible et du manifest.
- Mesurer le backlog : fichiers externes, lignes de manifest, lignes brutes, lignes dérivées, timestamps min/max et comptes non traités.
- Exécuter un rattrapage sécurisé ou un benchmark d'échantillon.
- Comparer les variantes : taille de lot, nombre de workers, SQL d'entrepôt, regroupement de fichiers, forme de staging, méthode de mise à jour du manifest.
- Promouvoir uniquement le chemin le plus rapide qui maintient la cohérence des comptes et des timestamps.
- Codifier le chemin sous forme de CLI, job programmé, workflow ou runbook.
- Réexécuter la comptabilité finale après l'exécution du chemin codifié.
Sortie Comptable
Utilisez un bloc de comptabilité dur :
Résultat de débit des données :
- Fichiers source découverts : 294
- Fichiers traités lors de cette exécution : 294
- Lignes brutes ajoutées : 9 683 598
- Lignes dérivées ajoutées : 8 917 585
- Queue restante : 24 fichiers au moment de la relecture
- Temps d'exécution : 38.7s
- Porte de justesse : les comptes du manifest et les timestamps max des tables correspondent
Garde-fous
- Ne supprimez pas les données brutes pour améliorer une métrique.
- Ne sautez pas silencieusement des fichiers en échec.
- Ne mélangez pas le statut du backfill historique avec la fraîcheur du live tail.
- Ne déclarez pas un pipeline terminé tant que les tables cibles et le manifest ne sont pas en accord.
- Pour les données financières, de santé, réglementées ou impactant les clients, conservez les preuves de rejeu et les portes d'approbation.