dbt은(는) 무엇을 하나요?
dbt는 애널리틱스 엔지니어가 SQL SELECT 문을 작성하여 데이터를 변환할 수 있게 해줍니다. 자료화(테이블, 뷰, 증분), 테스트, 문서화, 계보 추적을 처리합니다.
설치
# PostgreSQL 어댑터와 함께 dbt 설치
pip install dbt-postgres
# 또는 다른 어댑터와 함께 설치
pip install dbt-bigquery
pip install dbt-snowflake
# 새 프로젝트 초기화
dbt init my_project
cd my_project
프로젝트 구조
my_project/
├── dbt_project.yml # 프로젝트 구성
├── profiles.yml # 연결 프로필 (보통 ~/.dbt/ 에 위치)
├── models/
│ ├── staging/ # 원시 데이터 정리
│ │ ├── _staging.yml # 스테이징 모델의 스키마 + 테스트
│ │ ├── stg_users.sql
│ │ └── stg_orders.sql
│ └── marts/ # 비즈니스 로직
│ ├── _marts.yml
│ └── fct_revenue.sql
├── tests/ # 사용자 정의 데이터 테스트
├── macros/ # 재사용 가능한 SQL 매크로
└── seeds/ # 로드할 CSV 파일
구성
# dbt_project.yml: 프로젝트 구성
name: my_project
version: '1.0.0'
profile: my_project
models:
my_project:
staging:
+materialized: view
+schema: staging
marts:
+materialized: table
+schema: analytics
# profiles.yml: 데이터베이스 연결 (~/.dbt/profiles.yml)
my_project:
target: dev
outputs:
dev:
type: postgres
host: localhost
port: 5432
user: analyst
password: "{{ env_var('DBT_PASSWORD') }}"
dbname: analytics
schema: dev
threads: 4
prod:
type: postgres
host: prod-db.example.com
port: 5432
user: dbt_prod
password: "{{ env_var('DBT_PROD_PASSWORD') }}"
dbname: analytics
schema: public
threads: 8
스테이징 모델
-- models/staging/stg_users.sql: 원시 사용자 데이터 정리
WITH source AS (
SELECT * FROM {{ source('raw', 'users') }}
),
cleaned AS (
SELECT
id AS user_id,
LOWER(TRIM(email)) AS email,
name,
created_at::timestamp AS signed_up_at,
CASE WHEN status = 'active' THEN TRUE ELSE FALSE END AS is_active
FROM source
WHERE email IS NOT NULL
)
SELECT * FROM cleaned
-- models/staging/stg_orders.sql: 원시 주문 데이터 정리
SELECT
id AS order_id,
user_id,
amount_cents / 100.0 AS amount,
status,
created_at::timestamp AS ordered_at
FROM {{ source('raw', 'orders') }}
WHERE status != 'test'
마트 모델
-- models/marts/fct_revenue.sql: 수익 팩트 테이블
{{
config(
materialized='incremental',
unique_key='order_date',
on_schema_change='sync_all_columns'
)
}}
WITH orders AS (
SELECT * FROM {{ ref('stg_orders') }}
{% if is_incremental() %}
WHERE ordered_at > (SELECT MAX(order_date) FROM {{ this }})
{% endif %}
),
daily AS (
SELECT
DATE_TRUNC('day', ordered_at)::date AS order_date,
COUNT(*) AS total_orders,
COUNT(DISTINCT user_id) AS unique_customers,
SUM(amount) AS total_revenue,
AVG(amount) AS avg_order_value
FROM orders
WHERE status = 'completed'
GROUP BY 1
)
SELECT * FROM daily
스키마 및 테스트
# models/staging/_staging.yml: 소스, 컬럼, 테스트 정의
version: 2
sources:
- name: raw
schema: public
tables:
- name: users
loaded_at_field: created_at
freshness:
warn_after: {count: 12, period: hour}
error_after: {count: 24, period: hour}
- name: orders
models:
- name: stg_users
description: 정리된 사용자 데이터
columns:
- name: user_id
tests: [unique, not_null]
- name: email
tests: [unique, not_null]
- name: stg_orders
columns:
- name: order_id
tests: [unique, not_null]
- name: status
tests:
- accepted_values:
values: ['pending', 'completed', 'cancelled', 'refunded']
CLI 명령어
# commands.sh: 일반적인 dbt CLI 명령어
# 모든 모델 실행
dbt run
# 특정 모델과 그 상위 의존성 실행
dbt run --select +fct_revenue
# 테스트 실행
dbt test
# 문서 생성 및 제공
dbt docs generate
dbt docs serve --port 8081
# 소스 신선도 확인
dbt source freshness
# 전체 빌드 (실행 + 테스트 + 스냅샷)
dbt build
# 프로덕션 환경에서 실행
dbt run --target prod
매크로
-- macros/cents_to_dollars.sql: 통화 변환을 위한 재사용 가능한 매크로
{% macro cents_to_dollars(column_name) %}
({{ column_name }} / 100.0)::numeric(10,2)
{% endmacro %}
-- 모델에서 사용법: SELECT {{ cents_to_dollars('amount_cents') }} AS amount