Pipeline de Dados de Criptomoedas
Extração, transformação e carregamento (ETL) de dados de criptomoedas.
Use esta skill quando precisar:
Quando Usar
- Automatizar a coleta de preços, volumes e order books de exchanges de criptomoedas.
- Transformar dados brutos em formatos limpos e prontos para análise.
- Armazenar dados históricos em banco de dados ou arquivos.
- Configurar alertas personalizados com base em condições de mercado.
1) Configuração Inicial
- Instalar dependências:
pip install ccxt pandas psycopg2 python-dotenv - Configurar variáveis de ambiente no arquivo
.envcom as chaves das exchanges.
2) Extração de Dados
- Conectar a exchanges (Binance, Coinbase, Kraken, etc.) usando
ccxt. - Baixar dados de velas (OHLCV), ticker, order book.
- Suporte a intervalos: 1m, 5m, 1h, 1d, etc.
3) Transformação
- Limpeza de dados (remover NaN, ajustar timezone).
- Calcular indicadores técnicos (médias móveis, RSI, etc.) com
pandas. - Agregar dados para diferentes granularidades.
4) Carregamento
- Salvar em arquivo CSV.
- Inserir em banco de dados PostgreSQL (via
psycopg2). - Suporte a atualização incremental (upsert).
5) Monitoramento e Alertas
- Verificar condições de mercado (ex.: preço acima de um limite).
- Enviar notificações por e-mail ou Telegram.
- Logs de execução para depuração.
Entradas Comuns
- Símbolo do par (ex.: BTC/USDT).
- Intervalo de tempo (ex.: 1h).
- Período histórico (ex.: últimos 30 dias).
- Condições de alerta.
Saídas Comuns
- DataFrame pandas com dados limpos.
- Arquivo CSV no diretório
data/. - Registros no banco de dados.
- Mensagem de alerta.
Prompt Canônico (Exemplo)
- "Execute o pipeline para BTC/USDT nas últimas 24 horas e salve em CSV."
- "Monitore o par ETH/USDT e alerte se o preço cair 5% em 1 hora."
- "Carregue dados históricos de 2023-01-01 a 2023-12-31 no banco."
Execução do Código Python
Antes de executar qualquer código, carregue as variáveis de ambiente:
from dotenv import load_dotenv
load_dotenv(".env")
import ccxt
import pandas as pd
Exemplo de extração simples:
import ccxt
import pandas as pd
exchange = ccxt.binance()
symbol = "BTC/USDT"
timeframe = "1h"
since = "2024-01-01T00:00:00Z"
ohlcv = exchange.fetch_ohlcv(symbol, timeframe, since=exchange.parse8601(since))
df = pd.DataFrame(ohlcv, columns=["timestamp", "open", "high", "low", "close", "volume"])
df["timestamp"] = pd.to_datetime(df["timestamp"], unit="ms")
print(df.head())
Setup
1. Instalar Dependências
pip install ccxt pandas psycopg2-binary python-dotenv
2. Configurar Chaves de API
Crie um arquivo .env no diretório do projeto:
BINANCE_API_KEY=seu_api_key
BINANCE_SECRET=seu_secret
Nunca compartilhe ou versiona este arquivo.
Referência Rápida
Salvar em CSV
df.to_csv("data/btc_usdt_1h.csv", index=False)
Conectar ao Banco PostgreSQL
import psycopg2
from psycopg2.extras import execute_values
conn = psycopg2.connect(
host="localhost",
database="crypto",
user="user",
password="password"
)
cur = conn.cursor()
data = [(row.timestamp, row.open, row.high, row.low, row.close, row.volume) for row in df.itertuples()]
execute_values(cur, "INSERT INTO ohlcv (timestamp, open, high, low, close, volume) VALUES %s", data)
conn.commit()
cur.close()
conn.close()
Alertas Simples
if df["close"].iloc[-1] < df["close"].iloc[-2] * 0.95:
print("Alerta: Preço caiu mais de 5% no último candle!")
Tratamento de Erros
try:
ohlcv = exchange.fetch_ohlcv(symbol, timeframe)
except ccxt.NetworkError as e:
print(f"Erro de rede: {e}")
except ccxt.ExchangeError as e:
print(f"Erro da exchange: {e}")
Armadilhas Comuns
| Cenário | Mensagem de Erro | Solução |
|---|---|---|
| Símbolo inválido | ccxt.BadSymbol | Verifique o símbolo. Ex.: "BTC/USDT" |
| Chave de API ausente | ccxt.AuthenticationError | Configure as variáveis de ambiente |
| Limite de requisições excedido | ccxt.DDoSProtection | Adicione exchange.rateLimit ou use time.sleep() |
| Conexão recusada | psycopg2.OperationalError | Verifique se o banco está rodando |
Documentação Adicional
Consulte a documentação oficial das bibliotecas:
Repositório
https://github.com/alpertuncortak/crypto-data-pipeline
Mantido por: AlperTuncOrtak
Limitações
- Use esta skill apenas para tarefas claramente relacionadas a dados de criptomoedas.
- Não substitui validação específica do ambiente ou revisão especializada.
- Pergunte e esclareça se faltarem entradas, permissões, limites de segurança ou critérios de sucesso.