data-pipeline은(는) 무엇을 하나요?
데이터 파이프라인 및 ETL 자동화 - 데이터 통합 및 분석을 위한 추출, 변환, 적재 워크플로우
이 스킬은 데이터 파이프라인과 ETL(Extract, Transform, Load) 워크플로우를 자동화하여 다양한 데이터 소스에서 정보를 추출하고, 변환하며, 대상 시스템에 적재하는 작업을 간소화합니다.
주요 기능
- 데이터 추출: CSV, JSON, SQL 데이터베이스, REST API 등에서 데이터를 읽어옵니다.
- 데이터 변환: 데이터 정제, 집계, 조인, 필터링 등 변환 작업을 수행합니다.
- 데이터 적재: 변환된 데이터를 데이터베이스, 데이터 웨어하우스, 파일 등에 저장합니다.
지원 플랫폼
- Claude Code
- Cursor
- Codex
- 기타 AI 에이전트 도구
사용 예시
-
CSV 파일 처리:
python pipeline.py --extract data.csv --transform clean --load output.json -
데이터베이스 ETL:
-- 데이터 추출 및 변환 SELECT customer_id, COUNT(*) as order_count FROM orders GROUP BY customer_id;
환경 변수
DB_CONNECTION_STRING: 데이터베이스 연결 문자열API_KEY: 외부 API 접근 키OUTPUT_DIR: 결과 파일 저장 디렉토리
주의 사항
- 대용량 데이터 처리 시 메모리 사용량을 모니터링하세요.
- API 사용 시 속도 제한(Rate Limit)을 준수하세요.
- 민감한 데이터는 암호화하여 처리하세요.
자세한 내용은 프로젝트 문서를 참조하세요.