¿Qué hace etl-pipeline?
Diseña y automatiza pipelines de datos ETL (Extracción, Transformación y Carga) para integración de datos y análisis.
Descripción
Este skill ayuda a ingenieros de datos y desarrolladores a diseñar, implementar y automatizar pipelines ETL robustos. Permite extraer datos desde diversas fuentes, transformarlos según reglas de negocio y cargarlos en destinos como bases de datos o data warehouses.
Uso
- Define fuentes de datos (CSV, JSON, APIs, bases de datos SQL).
- Especifica transformaciones (limpieza, agregación, joins).
- Configura destinos de carga (PostgreSQL, BigQuery, S3).
- Automatiza la ejecución con cron o schedulers.
Plataformas soportadas
- Claude Code
- Cursor
- Codex
Ejemplo
# Comando para ejecutar un pipeline ETL
python etl_pipeline.py --source source.csv --transform config.json --dest postgresql://user:pass@localhost/db
Buenas prácticas
- Utiliza control de versiones para la configuración del pipeline.
- Implementa logging detallado para monitoreo.
- Prueba transformaciones en un entorno de staging antes de producción.