etl-pipeline は何をしますか？
データ統合と分析のための、抽出・変換・ロード（ETL）データパイプラインの設計と自動化を行います。
このスキルは、データパイプラインの設計から自動実行までの一連のプロセスを支援します。以下に、主要な構成要素と使用方法を示します。
概要
ETLパイプラインは、異なるデータソースからデータを抽出し、必要な形式に変換し、ターゲットシステムにロードする一連の処理です。このスキルを使用することで、開発者は手動のデータ処理作業を削減し、信頼性の高いデータフローを構築できます。
サポートするデータソース
- リレーショナルデータベース（PostgreSQL, MySQL など）
- クラウドストレージ（AWS S3, Google Cloud Storage）
- APIエンドポイント（REST, GraphQL）
- フラットファイル（CSV, JSON, Parquet）
変換処理
- データクレンジング（欠損値処理、重複除去）
- データ型変換とフォーマット変更
- 集計と結合操作
- カスタムビジネスロジックの適用
ロード先
- データウェアハウス（Snowflake, Redshift）
- データレイク（S3, HDFS）
- データベース（PostgreSQL, BigQuery）
自動化
- スケジューリング（cronジョブ、Airflow DAG）
- エラーハンドリングとリトライ機構
- モニタリングとアラート設定
使用例
# ETLパイプラインの設計例（Python）
from etl_pipeline import Pipeline
pipeline = Pipeline(
source='postgresql://host:port/db',
transformations=[
'clean_missing_values',
'convert_date_format',
'aggregate_sales_data'
],
target='snowflake://account/db/schema'
)
pipeline.run(schedule='daily')
詳細な実装手順やカスタマイズ方法については、スキルのドキュメントを参照してください。