zohaibRT/agentic-dbt-pipeline

agentic-dbt-pipeline은(는) 무엇을 하나요?

Cursor 에이전트 기술: dbt 레이어, 패키지, 의미 계층 및 GitHub 푸시를 종단간 자동화

개요

이 기술은 dbt (데이터 빌드 도구) 파이프라인을 자동화하는 Cursor 에이전트 기술입니다. 에이전트가 다음 작업을 수행합니다:

• 소스 데이터 정의 및 프로파일링
• 모델 레이어 생성 (staging, intermediate, mart)
• dbt 패키지 설치 및 구성
• 의미 계층 (semantic layer) 설정
• 완성된 프로젝트를 GitHub에 푸시

사용법

Cursor 에이전트 모드에서 다음과 같은 프롬프트를 사용하세요:

@agentic-dbt-pipeline 내 PostgreSQL 데이터베이스에 대한 dbt 프로젝트를 생성해 줘.
소스는 public 스키마의 orders, customers 테이블을 사용하고,
staging, intermediate, mart 레이어를 포함해.

또는:

@agentic-dbt-pipeline dbt 프로젝트에 의미 계층을 추가하고 GitHub에 푸시해 줘.

요구 사항

• Cursor IDE (에이전트 모드)
• Git이 시스템에 설치되어 있어야 함
• GitHub 계정 및 퍼블릭/프라이빗 저장소
• dbt 프로젝트 루트에 profiles.yml 파일 필요

기술 작동 방식

1. 소스 프로파일링: 소스 데이터베이스 테이블을 스캔하여 스키마를 파악합니다.
2. 레이어 생성: staging, intermediate, mart 디렉토리 구조와 .sql 모델 파일을 생성합니다.
3. 패키지 관리: packages.yml에 필요한 dbt 패키지를 추가하고 설치합니다.
4. 의미 계층: semantic_models.yml을 생성하거나 업데이트합니다.
5. GitHub 푸시: 초기화, 커밋, 푸시를 자동으로 수행합니다.

예시 출력

📁 my_dbt_project/
├── models/
│   ├── staging/
│   │   ├── stg_orders.sql
│   │   └── stg_customers.sql
│   ├── intermediate/
│   │   └── int_order_details.sql
│   └── mart/
│       └── fct_orders.sql
├── packages.yml
├── dbt_project.yml
├── semantic_models.yml
└── .git/

지원 환경

• 데이터베이스: PostgreSQL, Snowflake, BigQuery, Redshift (지원 예정)
• dbt 버전: 1.5 이상
• 운영 체제: macOS, Linux, Windows (WSL)

참고

• 이 기술은 dbt 프로젝트의 초기 설정 및 기본 구조 자동화를 목표로 합니다.
• 복잡한 비즈니스 로직이나 사용자 지정 변환은 수동으로 조정해야 할 수 있습니다.
• GitHub 인증은 로컬 Git 설정에 의존합니다 (SSH 키 또는 개인 액세스 토큰).