Communitygithub.com

dlt (Data Load Tool) — Ingestion de données Python-first

Vous êtes un expert de dlt, la bibliothèque Python open-source pour construire des pipelines de données. Vous aidez les développeurs à charger des données depuis n'importe quelle API, fichier ou base de données vers des entrepôts et des lacs en utilisant de simples décorateurs Python — avec inférence automatique de schéma, chargement incrémental et contrats de données intégrés. dlt est la « bibliothèque requests pour les pipelines de données ».

Qu'est-ce que dlt (Data Load Tool) — Ingestion de données Python-first ?

dlt (Data Load Tool) est une bibliothèque Python open-source qui simplifie la création de pipelines de données. Elle permet aux développeurs de charger des données depuis n'importe quelle API, fichier ou base de données vers des entrepôts de données (comme BigQuery, Snowflake, Postgres) ou des lacs de données en utilisant de simples décorateurs Python. dlt se distingue par son inférence automatique de schéma, son chargement incrémental intégré (gestion automatique des curseurs) et ses contrats de données pour la validation des schémas en production. La bibliothèque prend en charge des sources déclaratives (REST API source) et personnalisées, et s'intègre facilement dans des environnements d'orchestration comme Airflow, Dagster, GitHub Actions ou Lambda. Elle est conçue pour être aussi simple que la bibliothèque requests tout en offrant des fonctionnalités avancées de gestion des données.

Compatible avec~Claude Code~Codex CLI✓Cursor
npx skills add https://github.com/TerminalSkills/skills/tree/HEAD/skills/dlt

Demander à votre IA préférée

Ouvre une nouvelle conversation avec cette compétence d'agent déjà préchargée.

Documentation

Que fait dlt (Data Load Tool) — Ingestion de données Python-first ?

Vous êtes un expert de dlt, la bibliothèque Python open-source pour construire des pipelines de données. Vous aidez les développeurs à charger des données depuis n'importe quelle API, fichier ou base de données vers des entrepôts et des lacs en utilisant de simples décorateurs Python — avec inférence automatique de schéma, chargement incrémental et contrats de données intégrés. dlt est la « bibliothèque requests pour les pipelines de données ».

Fonctionnalités principales

Pipeline de base

import dlt

# Pipeline le plus simple : générateur Python → entrepôt
@dlt.resource(write_disposition="append")
def github_events():
    """Charge les événements GitHub d'un dépôt."""
    import requests
    response = requests.get("https://api.github.com/repos/org/repo/events")
    yield from response.json()

# Exécution du pipeline
pipeline = dlt.pipeline(
    pipeline_name="github_events",
    destination="bigquery",               # ou : postgres, snowflake, duckdb, motherduck
    dataset_name="raw_github",
)
load_info = pipeline.run(github_events())
print(load_info)                          # Schéma inféré automatiquement

Chargement incrémental

@dlt.resource(
    write_disposition="merge",            # Upsert : met à jour les existants, insère les nouveaux
    primary_key="id",
)
def orders(
    updated_at=dlt.sources.incremental(
        "updated_at",
        initial_value="2025-01-01T00:00:00Z"
    )
):
    """Charge les commandes de manière incrémentielle — uniquement les nouvelles/modifiées depuis la dernière exécution.

    dlt suit automatiquement le curseur entre les exécutions.
    Pas besoin de stocker l'état manuellement.
    """
    import requests
    page = 1
    while True:
        response = requests.get("https://api.shop.com/orders", params={
            "updated_after": updated_at.last_value,
            "page": page,
            "per_page": 100,
        })
        data = response.json()
        if not data:
            break
        yield from data
        page += 1

Source d'API REST (déclarative)

from dlt.sources.rest_api import rest_api_source

# Source d'API déclarative — pas de code nécessaire pour les API REST standard
source = rest_api_source({
    "client": {
        "base_url": "https://api.hubspot.com/crm/v3/",
        "auth": { "type": "bearer", "token": dlt.secrets["hubspot_token"] },
        "paginator": { "type": "offset", "limit": 100, "offset_param": "offset" },
    },
    "resources": [
        {
            "name": "contacts",
            "endpoint": { "path": "objects/contacts" },
            "write_disposition": "merge",
            "primary_key": "id",
        },
        {
            "name": "deals",
            "endpoint": { "path": "objects/deals" },
            "write_disposition": "merge",
            "primary_key": "id",
        },
    ],
})

pipeline = dlt.pipeline(destination="bigquery", dataset_name="raw_hubspot")
pipeline.run(source)

Contrats de données

# Appliquer des contrats de schéma — échouer bruyamment en cas de changements inattendus
@dlt.resource(
    write_disposition="merge",
    primary_key="id",
    columns={
        "id": {"data_type": "bigint", "nullable": False},
        "email": {"data_type": "text", "nullable": False},
        "plan": {"data_type": "text", "nullable": False},
        "mrr_cents": {"data_type": "bigint"},
    },
    schema_contract="evolve",             # "freeze" | "evolve" | "discard_value" | "discard_row"
)
def customers():
    # Si l'API renvoie des champs inattendus, dlt les gère selon le paramètre du contrat
    yield from fetch_customers()

Installation

pip install dlt[bigquery]                 # + adaptateur de destination
# Autres destinations : dlt[snowflake], dlt[postgres], dlt[duckdb], dlt[motherduck]

Meilleures pratiques

  1. Commencez avec DuckDB — Développez localement avec destination="duckdb", passez à BigQuery/Snowflake pour la production
  2. Incrémental pour les API — Utilisez dlt.sources.incremental pour le chargement avec état ; dlt suit le curseur entre les exécutions
  3. Source d'API REST — Utilisez rest_api_source déclarative pour les API REST standard ; écrivez des ressources personnalisées uniquement pour les API complexes
  4. Merge pour les entités — Utilisez write_disposition="merge" avec primary_key pour les tables d'entités ; append pour les flux d'événements
  5. Contrats de schéma — Définissez schema_contract="freeze" en production pour détecter immédiatement les changements d'API cassants
  6. Gestion des secrets — Utilisez dlt.secrets["key"] soutenu par des variables d'environnement ou .dlt/secrets.toml
  7. Transformations — Utilisez add_map() pour les transformations au niveau des lignes pendant le chargement ; les transformations plus lourdes appartiennent à dbt
  8. Déployez n'importe où — dlt est une bibliothèque, pas un service ; déployez dans cron, Airflow, Dagster, GitHub Actions ou Lambda

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

TerminalSkills/skills

>- Run GitHub Actions locally with act. Use when a user asks to test GitHub Actions workflows locally, debug CI pipelines without pushing, or run workflows offline.

TerminalSkills/skills

>- You are an expert in AG2 (formerly AutoGen), the open-source multi-agent conversation framework. You help developers build systems where multiple AI agents collaborate through structured conversations — with tool use, human-in-the-loop, code execution, group chat orchestration, and nested conversations — for complex tasks like software development, research, and data analysis.

TerminalSkills/skills

>- Generate short-form videos with AI — script writing, text-to-speech narration, stock footage selection, subtitle generation, and video assembly. Use when: creating TikTok/YouTube Shorts/Reels content, automating video production, building content pipelines.

TerminalSkills/skills

>- Animate 3D objects and characters in Blender with Python. Use when the user wants to keyframe properties, create armatures and rigs, set up IK/FK chains, animate shape keys for facial animation, edit F-Curves, use the NLA editor to blend actions, add drivers for expression-based animation, or script any animation workflow in Blender.

TerminalSkills/skills

>- Automate motion capture and tracking workflows in Blender with Python. Use when the user wants to import BVH or FBX mocap data, retarget motion to armatures, track camera or object motion from video, solve camera motion, clean up motion capture data, or script any tracking pipeline in Blender.

TerminalSkills/skills

>- You are an expert in Bolt.new by StackBlitz, the AI-powered full-stack development environment that runs entirely in the browser. You help developers go from idea to deployed app in minutes using natural language prompts — Bolt generates complete applications with frontend, backend, database, and deployment, all running in a WebContainer without local setup.

TerminalSkills/skills

>- Assists with using Bun as an all-in-one JavaScript/TypeScript runtime, package manager, bundler, and test runner. Use when building HTTP servers, managing packages, running tests, or migrating from Node.js. Trigger words: bun, bun serve, bun install, bun test, bun build, javascript runtime, bun runtime.

TerminalSkills/skills

>- Self-host customer support with Chatwoot. Use when a user asks to set up open-source customer support, add live chat without SaaS costs, build a multi-channel inbox, or deploy a free Intercom alternative.

TerminalSkills/skills

>- You are an expert in Chi, the lightweight, idiomatic Go HTTP router built on `net/http`. You help developers build composable HTTP services using Chi's middleware stack, route groups, URL parameters, sub-routers, and context-based request scoping — providing Express-like ergonomics while staying 100% compatible with Go's standard library.

TerminalSkills/skills

When the user wants to edit, review, or improve existing marketing copy. Also use when the user mentions 'edit this copy,' 'review my copy,' 'copy feedback,' 'proofread,' 'polish this,' 'make this better,' or 'copy sweep.' This skill provides a systematic approach to editing marketing copy through multiple focused passes.

TerminalSkills/skills

>- Add live chat and customer support with Crisp. Use when a user asks to add a chat widget, implement live customer support, set up a help desk, create a knowledge base, or add a chatbot to a website.

TerminalSkills/skills

>- Assists with building custom interactive data visualizations using D3.js. Use when creating charts, graphs, maps, force layouts, or hierarchical diagrams that require fine-grained control beyond what charting libraries provide. Trigger words: d3, data visualization, chart, svg, scales, force graph, treemap, choropleth.

TerminalSkills/skills

dbt (data build tool) transforms data in your warehouse using SQL SELECT statements. Learn project setup, models, tests, documentation, incremental materializations, and integration with data warehouses like PostgreSQL, BigQuery, and Snowflake.

TerminalSkills/skills

Data Version Control for ML projects. Track large datasets and models alongside Git, build reproducible ML pipelines, and run experiments with metric comparison. Works with any storage backend including S3, GCS, Azure, and local filesystems.

TerminalSkills/skills

>- You are an expert in E2B, the cloud platform for running AI-generated code in secure sandboxes. You help developers give AI agents the ability to execute code, install packages, read/write files, and run long processes in isolated cloud environments — each sandbox is a lightweight VM that boots in ~150ms with full Linux, filesystem, and networking.

TerminalSkills/skills

>- Transcode, convert, edit, and process audio and video with FFmpeg. Use when a user asks to convert video formats (webm to mp4, mkv to mp4), extract audio from video, compress video files, trim or cut clips, concatenate videos, add subtitles, create thumbnails, apply filters, change resolution or bitrate, re-encode media, create GIFs from video, add watermarks, normalize audio, stream media, or build automated media processing pipelines.

TerminalSkills/skills

>- Create advanced animations with GSAP. Use when building complex timelines, scroll-driven animations, SVG morphing, text animations, or high-performance web animations beyond CSS capabilities.

TerminalSkills/skills

>- Generate deterministic MP4 videos from HTML, CSS, media, and seekable animations using HeyGen's HyperFrames framework. Use when someone asks to "render HTML to video", "make a video with HyperFrames", "create a programmatic video", "turn an animation into MP4", "build a launch/product video from HTML", "render GSAP/Lottie/Three.js to video", or set up an agent-driven video pipeline. Covers init/preview/render/add/lint/inspect commands, data-* timing attributes, animation adapters, and the component catalog.

TerminalSkills/skills

When the user wants to perform load testing, stress testing, or performance testing of APIs and websites using k6. Also use when the user mentions "k6," "load test," "performance test," "stress test," "spike test," "soak test," "thresholds," "virtual users," or "VUs." For browser-based testing, see selenium.

TerminalSkills/skills

>- Lovable (formerly GPT Engineer) is a browser-based AI app builder that turns a natural-language description into a working full-stack web app with a built-in backend, authentication, database and one-click publishing. Use when the user wants to prototype or ship a web app with Lovable, write effective Lovable prompts, connect Supabase or GitHub, review generated security rules, or move a Lovable project into their own editor.

Skills associés