Que fait dbt ?
dbt permet aux ingénieurs analytiques de transformer des données en écrivant des instructions SQL SELECT. Il gère la matérialisation (tables, vues, incrémentielle), les tests, la documentation et le traçage de la lignée.
Installation
# Installer dbt avec l'adaptateur PostgreSQL
pip install dbt-postgres
# Ou avec d'autres adaptateurs
pip install dbt-bigquery
pip install dbt-snowflake
# Initialiser un nouveau projet
dbt init mon_projet
cd mon_projet
Structure du projet
mon_projet/
├── dbt_project.yml # Configuration du projet
├── profiles.yml # Profils de connexion (généralement dans ~/.dbt/)
├── models/
│ ├── staging/ # Nettoyage des données brutes
│ │ ├── _staging.yml # Schéma + tests pour les modèles de staging
│ │ ├── stg_users.sql
│ │ └── stg_orders.sql
│ └── marts/ # Logique métier
│ ├── _marts.yml
│ └── fct_revenue.sql
├── tests/ # Tests de données personnalisés
├── macros/ # Macros SQL réutilisables
└── seeds/ # Fichiers CSV à charger
Configuration
# dbt_project.yml : Configuration du projet
name: mon_projet
version: '1.0.0'
profile: mon_projet
models:
mon_projet:
staging:
+materialized: view
+schema: staging
marts:
+materialized: table
+schema: analytics
# profiles.yml : Connexion à la base de données (~/.dbt/profiles.yml)
mon_projet:
target: dev
outputs:
dev:
type: postgres
host: localhost
port: 5432
user: analyst
password: "{{ env_var('DBT_PASSWORD') }}"
dbname: analytics
schema: dev
threads: 4
prod:
type: postgres
host: prod-db.example.com
port: 5432
user: dbt_prod
password: "{{ env_var('DBT_PROD_PASSWORD') }}"
dbname: analytics
schema: public
threads: 8
Modèles de staging
-- models/staging/stg_users.sql : Nettoyer les données utilisateur brutes
WITH source AS (
SELECT * FROM {{ source('raw', 'users') }}
),
cleaned AS (
SELECT
id AS user_id,
LOWER(TRIM(email)) AS email,
name,
created_at::timestamp AS signed_up_at,
CASE WHEN status = 'active' THEN TRUE ELSE FALSE END AS is_active
FROM source
WHERE email IS NOT NULL
)
SELECT * FROM cleaned
-- models/staging/stg_orders.sql : Nettoyer les données de commandes brutes
SELECT
id AS order_id,
user_id,
amount_cents / 100.0 AS amount,
status,
created_at::timestamp AS ordered_at
FROM {{ source('raw', 'orders') }}
WHERE status != 'test'
Modèles de marts
-- models/marts/fct_revenue.sql : Table de faits sur le revenu
{{
config(
materialized='incremental',
unique_key='order_date',
on_schema_change='sync_all_columns'
)
}}
WITH orders AS (
SELECT * FROM {{ ref('stg_orders') }}
{% if is_incremental() %}
WHERE ordered_at > (SELECT MAX(order_date) FROM {{ this }})
{% endif %}
),
daily AS (
SELECT
DATE_TRUNC('day', ordered_at)::date AS order_date,
COUNT(*) AS total_orders,
COUNT(DISTINCT user_id) AS unique_customers,
SUM(amount) AS total_revenue,
AVG(amount) AS avg_order_value
FROM orders
WHERE status = 'completed'
GROUP BY 1
)
SELECT * FROM daily
Schéma et tests
# models/staging/_staging.yml : Définir les sources, colonnes et tests
version: 2
sources:
- name: raw
schema: public
tables:
- name: users
loaded_at_field: created_at
freshness:
warn_after: {count: 12, period: hour}
error_after: {count: 24, period: hour}
- name: orders
models:
- name: stg_users
description: Données utilisateur nettoyées
columns:
- name: user_id
tests: [unique, not_null]
- name: email
tests: [unique, not_null]
- name: stg_orders
columns:
- name: order_id
tests: [unique, not_null]
- name: status
tests:
- accepted_values:
values: ['pending', 'completed', 'cancelled', 'refunded']
Commandes CLI
# commands.sh : Commandes CLI courantes de dbt
# Exécuter tous les modèles
dbt run
# Exécuter un modèle spécifique et ses dépendances en amont
dbt run --select +fct_revenue
# Exécuter les tests
dbt test
# Générer et servir la documentation
dbt docs generate
dbt docs serve --port 8081
# Vérifier la fraîcheur des sources
dbt source freshness
# Construction complète (exécution + test + snapshot)
dbt build
# Exécuter sur l'environnement de production
dbt run --target prod
Macros
-- macros/cents_to_dollars.sql : Macro réutilisable pour la conversion de devises
{% macro cents_to_dollars(column_name) %}
({{ column_name }} / 100.0)::numeric(10,2)
{% endmacro %}
-- Utilisation dans un modèle : SELECT {{ cents_to_dollars('amount_cents') }} AS amount