dbt (Data Build Tool)
dbt gerencia transformações de dados no warehouse usando SQL. A versão v2.0 introduz o Fusion Engine (Rust) para desempenho.
Quando usar
- Engenharia de Analytics e Transformações de Dados: Transformar dados brutos dentro de data warehouses cloud modernos (Snowflake, BigQuery, Databricks, Redshift).
- SQL Modular com Jinja e Controle de Versão: Construir modelos SQL reutilizáveis com dependências DAG e macros.
- Testes de Qualidade e Esquema de Dados: Aplicar testes
unique,not_null, integridade referencial e testes singulares personalizados. - Documentação Automatizada e Lineage de Dados: Gerar gráficos interativos de lineage de dependências diretamente a partir dos esquemas do codebase.
Início rápido
-- models/marts/fct_orders.sql
{{ config(materialized='table') }}
with orders as (
select * from {{ ref('stg_orders') }}
),
payments as (
select * from {{ ref('stg_payments') }}
)
select
orders.order_id,
orders.customer_id,
orders.order_date,
coalesce(payments.amount, 0) as total_amount
from orders
left join payments using (order_id)
Conceitos Principais
#Modelagem SQL Declarativa com ref() e source()
Construindo modelos de transformação com resolução de dependências:
-- models/marts/core/fct_customer_orders.sql
{{
config(
materialized = 'incremental',
unique_key = 'order_id',
on_schema_change = 'fail'
)
}}
with orders as (
select * from {{ ref('stg_orders') }}
{% if is_incremental() %}
where order_date >= (select coalesce(max(order_date), '1970-01-01') from {{ this }})
{% endif %}
),
customers as (
select * from {{ ref('stg_customers') }}
)
select
o.order_id,
o.customer_id,
c.full_name as customer_name,
o.order_date,
o.total_amount_usd
from orders o
inner join customers c on o.customer_id = c.customer_id
#Testes de Esquema e Documentação em YAML
Aplicando restrições de colunas e documentação:
# models/marts/core/schema.yml
version: 2
models:
- name: fct_customer_orders
description: "Tabela fato diária de pedidos de clientes, combinando pedidos e dimensões de clientes da staging."
columns:
- name: order_id
description: "Chave primária dos pedidos."
tests:
- unique
- not_null
- name: customer_id
description: "Chave estrangeira referenciando a staging de clientes."
tests:
- not_null
- relationships:
to: ref('stg_customers')
field: customer_id
- name: total_amount_usd
description: "Valor total da transação em USD."
tests:
- not_null
#Macros Jinja para Lógica Reutilizável DRY
Criando utilitários SQL personalizados reutilizáveis:
-- macros/cents_to_dollars.sql
{% macro cents_to_dollars(column_name, decimal_places=2) -%}
round(cast(({{ column_name }} / 100.0) as numeric), {{ decimal_places }})
{%- endmacro %}
-- Uso no modelo:
select
id,
{{ cents_to_dollars('amount_in_cents') }} as amount_usd
from {{ ref('stg_payments') }}
Padrões Comuns
Modelos Incrementais com Filtragem por Timestamp
Problema: Reconstruir tabelas com bilhões de linhas do zero em toda execução do dbt é lento e caro.
Solução:
Use materialização incremental com is_incremental():
{{ config(
materialized='incremental',
unique_key='event_id'
) }}
select * from {{ source('raw', 'events') }}
{% if is_incremental() %}
-- Apenas consultar linhas criadas após o evento mais recente na tabela de destino
where event_timestamp > (select max(event_timestamp) from {{ this }})
{% endif %}
Melhores Práticas (2026)
- Faça organize projetos em camadas padrão:
staging(1-para-1 com fontes brutas),intermediateemarts. - Faça sempre use
{{ ref('nome_do_modelo') }}e{{ source('nome_da_fonte', 'nome_da_tabela') }}para manter o lineage DAG. - Faça implemente modelos incrementais (
materialized='incremental') para tabelas fato com milhões de linhas. - Faça execute
dbt testem pipelines de CI em cada pull request para detectar regressões de esquema de dados. - Não faça escreva referências diretas a tabelas do banco (ex.:
analytics.raw.users); sempre usesource()ouref(). - Não faça realize lógica de negócios dentro de modelos de staging; staging deve apenas limpar, converter tipos e renomear colunas.
- Não faça hardcode de ambientes (dev vs prod); use condicionais com
target.nameno profiles.yml.
Solução de Problemas
| Erro | Causa | Solução |
|---|---|---|
Compilation Error: Model '...' depends on a node named '...' which was not found | Erro de digitação em {{ ref('nome_do_modelo') }} ou arquivo de modelo ausente. | Verifique se o nome do arquivo do modelo corresponde exatamente à string referenciada. |
dbt test failed: unique constraint violated | Chaves duplicadas geradas por condição de junção não única. | Inspecione as chaves duplicadas no SQL compilado em target/compiled/. |
Schema change error during incremental run | O modelo upstream adicionou/removeu colunas quebrando a tabela incremental existente. | Execute com --full-refresh uma vez para reconstruir o esquema: dbt run --full-refresh. |