dbt (Data Build Tool)
dbt gestiona la transformación de datos en el almacén utilizando SQL. La versión v2.0 introduce el Fusion Engine (Rust) para mejorar el rendimiento.
Cuándo usar
- Ingeniería Analítica y Transformaciones de Datos: Transformar datos sin procesar dentro de almacenes en la nube modernos (Snowflake, BigQuery, Databricks, Redshift).
- SQL Modular con Jinja y Control de Versiones: Construir modelos SQL reutilizables con dependencias DAG y macros.
- Pruebas de Calidad de Datos y Esquemas: Aplicar restricciones
unique,not_null, integridad referencial y pruebas singulares personalizadas. - Documentación Automatizada de Datos y Linaje: Generar gráficos interactivos de linaje de dependencias directamente desde los esquemas del código base.
Inicio Rápido
-- models/marts/fct_orders.sql
{{ config(materialized='table') }}
with orders as (
select * from {{ ref('stg_orders') }}
),
payments as (
select * from {{ ref('stg_payments') }}
)
select
orders.order_id,
orders.customer_id,
orders.order_date,
coalesce(payments.amount, 0) as total_amount
from orders
left join payments using (order_id)
Conceptos Clave
#Modelado SQL Declarativo con ref() y source()
Construir modelos de transformación con resolución de dependencias:
-- models/marts/core/fct_customer_orders.sql
{{
config(
materialized = 'incremental',
unique_key = 'order_id',
on_schema_change = 'fail'
)
}}
with orders as (
select * from {{ ref('stg_orders') }}
{% if is_incremental() %}
where order_date >= (select coalesce(max(order_date), '1970-01-01') from {{ this }})
{% endif %}
),
customers as (
select * from {{ ref('stg_customers') }}
)
select
o.order_id,
o.customer_id,
c.full_name as customer_name,
o.order_date,
o.total_amount_usd
from orders o
inner join customers c on o.customer_id = c.customer_id
#Pruebas de Esquema y Documentación en YAML
Aplicar restricciones de columna y documentación:
# models/marts/core/schema.yml
version: 2
models:
- name: fct_customer_orders
description: "Tabla de hechos de pedidos diarios de clientes que combina pedidos y dimensiones de clientes preparados."
columns:
- name: order_id
description: "Clave primaria de pedidos."
tests:
- unique
- not_null
- name: customer_id
description: "Clave foránea que referencia a clientes preparados."
tests:
- not_null
- relationships:
to: ref('stg_customers')
field: customer_id
- name: total_amount_usd
description: "Valor total de la transacción en USD."
tests:
- not_null
#Macros Jinja para Lógica DRY Reutilizable
Crear utilidades SQL personalizadas reutilizables:
-- macros/cents_to_dollars.sql
{% macro cents_to_dollars(column_name, decimal_places=2) -%}
round(cast(({{ column_name }} / 100.0) as numeric), {{ decimal_places }})
{%- endmacro %}
-- Uso en modelo:
select
id,
{{ cents_to_dollars('amount_in_cents') }} as amount_usd
from {{ ref('stg_payments') }}
Patrones Comunes
Modelos Incrementales con Filtrado por Marca de Tiempo
Problema: Reconstruir tablas con miles de millones de filas desde cero en cada ejecución de dbt es lento y costoso.
Solución:
Usar materialización incremental con is_incremental():
{{ config(
materialized='incremental',
unique_key='event_id'
) }}
select * from {{ source('raw', 'events') }}
{% if is_incremental() %}
-- Solo consultar filas creadas después del evento más reciente en la tabla de destino
where event_timestamp > (select max(event_timestamp) from {{ this }})
{% endif %}
Mejores Prácticas (2026)
- Sí organizar proyectos en capas estándar:
staging(1 a 1 con fuentes sin procesar),intermediateymarts. - Sí usar siempre
{{ ref('nombre_modelo') }}y{{ source('nombre_fuente', 'nombre_tabla') }}para mantener el linaje del DAG. - Sí implementar modelos incrementales (
materialized='incremental') para tablas de hechos con millones de filas. - Sí ejecutar
dbt testen canalizaciones CI en cada solicitud de extracción para detectar regresiones en el esquema de datos. - No escribir referencias directas a tablas de base de datos (ej.
analytics.raw.users); usar siempresource()oref(). - No realizar lógica de negocio dentro de modelos de staging; el staging solo debe limpiar, convertir y renombrar columnas.
- No codificar entornos (dev vs prod); usar condicionales
target.nameen profiles.yml.
Solución de Problemas
| Error | Causa | Solución |
|---|---|---|
Compilation Error: Model '...' depends on a node named '...' which was not found | Error tipográfico en {{ ref('nombre_modelo') }} o falta el archivo del modelo. | Verificar que el nombre del archivo del modelo coincida exactamente con la referencia. |
dbt test failed: unique constraint violated | Claves duplicadas generadas por una condición de unión no única. | Inspeccionar las claves duplicadas en el SQL compilado en target/compiled/. |
Schema change error during incremental run | El modelo ascendente agregó o eliminó columnas rompiendo la tabla incremental existente. | Ejecutar con --full-refresh una vez para reconstruir el esquema: dbt run --full-refresh. |