Que fait dlt (Data Load Tool) — Ingestion de données Python-first ?
Vous êtes un expert de dlt, la bibliothèque Python open-source pour construire des pipelines de données. Vous aidez les développeurs à charger des données depuis n'importe quelle API, fichier ou base de données vers des entrepôts et des lacs en utilisant de simples décorateurs Python — avec inférence automatique de schéma, chargement incrémental et contrats de données intégrés. dlt est la « bibliothèque requests pour les pipelines de données ».
Fonctionnalités principales
Pipeline de base
import dlt
# Pipeline le plus simple : générateur Python → entrepôt
@dlt.resource(write_disposition="append")
def github_events():
"""Charge les événements GitHub d'un dépôt."""
import requests
response = requests.get("https://api.github.com/repos/org/repo/events")
yield from response.json()
# Exécution du pipeline
pipeline = dlt.pipeline(
pipeline_name="github_events",
destination="bigquery", # ou : postgres, snowflake, duckdb, motherduck
dataset_name="raw_github",
)
load_info = pipeline.run(github_events())
print(load_info) # Schéma inféré automatiquement
Chargement incrémental
@dlt.resource(
write_disposition="merge", # Upsert : met à jour les existants, insère les nouveaux
primary_key="id",
)
def orders(
updated_at=dlt.sources.incremental(
"updated_at",
initial_value="2025-01-01T00:00:00Z"
)
):
"""Charge les commandes de manière incrémentielle — uniquement les nouvelles/modifiées depuis la dernière exécution.
dlt suit automatiquement le curseur entre les exécutions.
Pas besoin de stocker l'état manuellement.
"""
import requests
page = 1
while True:
response = requests.get("https://api.shop.com/orders", params={
"updated_after": updated_at.last_value,
"page": page,
"per_page": 100,
})
data = response.json()
if not data:
break
yield from data
page += 1
Source d'API REST (déclarative)
from dlt.sources.rest_api import rest_api_source
# Source d'API déclarative — pas de code nécessaire pour les API REST standard
source = rest_api_source({
"client": {
"base_url": "https://api.hubspot.com/crm/v3/",
"auth": { "type": "bearer", "token": dlt.secrets["hubspot_token"] },
"paginator": { "type": "offset", "limit": 100, "offset_param": "offset" },
},
"resources": [
{
"name": "contacts",
"endpoint": { "path": "objects/contacts" },
"write_disposition": "merge",
"primary_key": "id",
},
{
"name": "deals",
"endpoint": { "path": "objects/deals" },
"write_disposition": "merge",
"primary_key": "id",
},
],
})
pipeline = dlt.pipeline(destination="bigquery", dataset_name="raw_hubspot")
pipeline.run(source)
Contrats de données
# Appliquer des contrats de schéma — échouer bruyamment en cas de changements inattendus
@dlt.resource(
write_disposition="merge",
primary_key="id",
columns={
"id": {"data_type": "bigint", "nullable": False},
"email": {"data_type": "text", "nullable": False},
"plan": {"data_type": "text", "nullable": False},
"mrr_cents": {"data_type": "bigint"},
},
schema_contract="evolve", # "freeze" | "evolve" | "discard_value" | "discard_row"
)
def customers():
# Si l'API renvoie des champs inattendus, dlt les gère selon le paramètre du contrat
yield from fetch_customers()
Installation
pip install dlt[bigquery] # + adaptateur de destination
# Autres destinations : dlt[snowflake], dlt[postgres], dlt[duckdb], dlt[motherduck]
Meilleures pratiques
- Commencez avec DuckDB — Développez localement avec
destination="duckdb", passez à BigQuery/Snowflake pour la production - Incrémental pour les API — Utilisez
dlt.sources.incrementalpour le chargement avec état ; dlt suit le curseur entre les exécutions - Source d'API REST — Utilisez
rest_api_sourcedéclarative pour les API REST standard ; écrivez des ressources personnalisées uniquement pour les API complexes - Merge pour les entités — Utilisez
write_disposition="merge"avecprimary_keypour les tables d'entités ;appendpour les flux d'événements - Contrats de schéma — Définissez
schema_contract="freeze"en production pour détecter immédiatement les changements d'API cassants - Gestion des secrets — Utilisez
dlt.secrets["key"]soutenu par des variables d'environnement ou.dlt/secrets.toml - Transformations — Utilisez
add_map()pour les transformations au niveau des lignes pendant le chargement ; les transformations plus lourdes appartiennent à dbt - Déployez n'importe où — dlt est une bibliothèque, pas un service ; déployez dans cron, Airflow, Dagster, GitHub Actions ou Lambda