Communitygithub.com

AlperTuncOrtak/pipeline-de-dados-cripto

Pipeline ETL para dados de criptomoedas. Ingestão, transformação e armazenamento de dados de mercado de exchanges.

O que é pipeline-de-dados-cripto?

Esta skill implementa um pipeline de dados completo para criptomoedas, projetado para extrair, transformar e carregar (ETL) dados de mercado de exchanges como Binance e Coinbase. Ela é útil para desenvolvedores e traders que precisam automatizar a coleta de preços, volumes, order books e outros indicadores em tempo real ou históricos. A skill suporta plataformas como Python e Bash, utilizando bibliotecas como `ccxt`, `pandas` e `psycopg2`. Seu funcionamento se baseia em scripts configuráveis que se conectam às APIs das exchanges, realizam transformações nos dados brutos (como limpeza e agregação) e os armazenam em bancos de dados SQL ou arquivos CSV. Inclui também funcionalidades de monitoramento e alertas para detectar padrões ou anomalias no mercado.

Funciona com✓Claude Code~Codex CLI~Cursor
npx skills add https://github.com/AlperTuncOrtak/crypto-data-pipeline/tree/HEAD/skills/videodb

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

Pipeline de Dados de Criptomoedas

Extração, transformação e carregamento (ETL) de dados de criptomoedas.

Use esta skill quando precisar:

Quando Usar

  • Automatizar a coleta de preços, volumes e order books de exchanges de criptomoedas.
  • Transformar dados brutos em formatos limpos e prontos para análise.
  • Armazenar dados históricos em banco de dados ou arquivos.
  • Configurar alertas personalizados com base em condições de mercado.

1) Configuração Inicial

  • Instalar dependências: pip install ccxt pandas psycopg2 python-dotenv
  • Configurar variáveis de ambiente no arquivo .env com as chaves das exchanges.

2) Extração de Dados

  • Conectar a exchanges (Binance, Coinbase, Kraken, etc.) usando ccxt.
  • Baixar dados de velas (OHLCV), ticker, order book.
  • Suporte a intervalos: 1m, 5m, 1h, 1d, etc.

3) Transformação

  • Limpeza de dados (remover NaN, ajustar timezone).
  • Calcular indicadores técnicos (médias móveis, RSI, etc.) com pandas.
  • Agregar dados para diferentes granularidades.

4) Carregamento

  • Salvar em arquivo CSV.
  • Inserir em banco de dados PostgreSQL (via psycopg2).
  • Suporte a atualização incremental (upsert).

5) Monitoramento e Alertas

  • Verificar condições de mercado (ex.: preço acima de um limite).
  • Enviar notificações por e-mail ou Telegram.
  • Logs de execução para depuração.

Entradas Comuns

  • Símbolo do par (ex.: BTC/USDT).
  • Intervalo de tempo (ex.: 1h).
  • Período histórico (ex.: últimos 30 dias).
  • Condições de alerta.

Saídas Comuns

  • DataFrame pandas com dados limpos.
  • Arquivo CSV no diretório data/.
  • Registros no banco de dados.
  • Mensagem de alerta.

Prompt Canônico (Exemplo)

  • "Execute o pipeline para BTC/USDT nas últimas 24 horas e salve em CSV."
  • "Monitore o par ETH/USDT e alerte se o preço cair 5% em 1 hora."
  • "Carregue dados históricos de 2023-01-01 a 2023-12-31 no banco."

Execução do Código Python

Antes de executar qualquer código, carregue as variáveis de ambiente:

from dotenv import load_dotenv
load_dotenv(".env")

import ccxt
import pandas as pd

Exemplo de extração simples:

import ccxt
import pandas as pd

exchange = ccxt.binance()
symbol = "BTC/USDT"
timeframe = "1h"
since = "2024-01-01T00:00:00Z"

ohlcv = exchange.fetch_ohlcv(symbol, timeframe, since=exchange.parse8601(since))
df = pd.DataFrame(ohlcv, columns=["timestamp", "open", "high", "low", "close", "volume"])
df["timestamp"] = pd.to_datetime(df["timestamp"], unit="ms")
print(df.head())

Setup

1. Instalar Dependências

pip install ccxt pandas psycopg2-binary python-dotenv

2. Configurar Chaves de API

Crie um arquivo .env no diretório do projeto:

BINANCE_API_KEY=seu_api_key
BINANCE_SECRET=seu_secret

Nunca compartilhe ou versiona este arquivo.

Referência Rápida

Salvar em CSV

df.to_csv("data/btc_usdt_1h.csv", index=False)

Conectar ao Banco PostgreSQL

import psycopg2
from psycopg2.extras import execute_values

conn = psycopg2.connect(
    host="localhost",
    database="crypto",
    user="user",
    password="password"
)
cur = conn.cursor()

data = [(row.timestamp, row.open, row.high, row.low, row.close, row.volume) for row in df.itertuples()]
execute_values(cur, "INSERT INTO ohlcv (timestamp, open, high, low, close, volume) VALUES %s", data)
conn.commit()
cur.close()
conn.close()

Alertas Simples

if df["close"].iloc[-1] < df["close"].iloc[-2] * 0.95:
    print("Alerta: Preço caiu mais de 5% no último candle!")

Tratamento de Erros

try:
    ohlcv = exchange.fetch_ohlcv(symbol, timeframe)
except ccxt.NetworkError as e:
    print(f"Erro de rede: {e}")
except ccxt.ExchangeError as e:
    print(f"Erro da exchange: {e}")

Armadilhas Comuns

CenárioMensagem de ErroSolução
Símbolo inválidoccxt.BadSymbolVerifique o símbolo. Ex.: "BTC/USDT"
Chave de API ausenteccxt.AuthenticationErrorConfigure as variáveis de ambiente
Limite de requisições excedidoccxt.DDoSProtectionAdicione exchange.rateLimit ou use time.sleep()
Conexão recusadapsycopg2.OperationalErrorVerifique se o banco está rodando

Documentação Adicional

Consulte a documentação oficial das bibliotecas:

Repositório

https://github.com/alpertuncortak/crypto-data-pipeline

Mantido por: AlperTuncOrtak

Limitações

  • Use esta skill apenas para tarefas claramente relacionadas a dados de criptomoedas.
  • Não substitui validação específica do ambiente ou revisão especializada.
  • Pergunte e esclareça se faltarem entradas, permissões, limites de segurança ou critérios de sucesso.

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

AlperTuncOrtak/crypto-data-pipeline

Skill for discovering and researching autonomous AI agents, tools, and ecosystems using the AgentFolio directory.

AlperTuncOrtak/crypto-data-pipeline

Advanced JavaScript animation library skill for creating complex, high-performance web animations.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Audit and fix animation performance issues including layout thrashing, compositor properties, scroll-linked motion, and blur effects. Use when animations stutter, transitions jank, or reviewing CSS/JS animation performance.

AlperTuncOrtak/crypto-data-pipeline

Internationalization and localization patterns. Detecting hardcoded strings, managing translations, locale files, RTL support.

AlperTuncOrtak/crypto-data-pipeline

Pull a YouTube video transcript into a queryable markdown vault with yt-dlp subtitle discovery, VTT cleanup, metadata frontmatter, and capture-seed stubs.

AlperTuncOrtak/crypto-data-pipeline

Expert in building portfolios that actually land jobs and clients - not just showing work, but creating memorable experiences. Covers developer portfolios, designer portfolios, creative portfolios, and portfolios that convert visitors into opportunities.

AlperTuncOrtak/crypto-data-pipeline

Generates high-converting Next.js/React landing pages with Tailwind CSS. Uses PAS, AIDA, and BAB frameworks for optimized copy/components (Heroes, Features, Pricing). Focuses on Core Web Vitals/SEO.

AlperTuncOrtak/crypto-data-pipeline

AI-powered animation tool for creating motion in logos, UI, icons, and social media assets.

AlperTuncOrtak/crypto-data-pipeline

CRITICAL: Use for Makepad animation system. Triggers on: makepad animation, makepad animator, makepad hover, makepad state, makepad transition, "from: { all: Forward", makepad pressed, makepad 动画, makepad 状态, makepad 过渡, makepad 悬停效果

AlperTuncOrtak/crypto-data-pipeline

Best practices for Remotion - Video creation in React

AlperTuncOrtak/crypto-data-pipeline

Generate walkthrough videos from Stitch projects using Remotion with smooth transitions, zooming, and text overlays

AlperTuncOrtak/crypto-data-pipeline

Seek and analyze video content using Memories.ai Large Visual Memory Model for persistent video intelligence

AlperTuncOrtak/crypto-data-pipeline

Writes complete, structured landing pages optimized for SEO ranking, AEO citation, and visitor conversion. Activate when the user wants to write or generate a landing page for a product, service, or offer.

AlperTuncOrtak/crypto-data-pipeline

Three.js animation - keyframe animation, skeletal animation, morph targets, animation mixing. Use when animating objects, playing GLTF animations, creating procedural motion, or blending animations.

AlperTuncOrtak/crypto-data-pipeline

Automate TikTok tasks via Rube MCP (Composio): upload/publish videos, post photos, manage content, and view user profiles/stats. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Upload, stream, search, edit, transcribe, and generate AI video and audio using the VideoDB SDK.

AlperTuncOrtak/crypto-data-pipeline

One sentence - what this skill does and when to invoke it

AlperTuncOrtak/crypto-data-pipeline

Automate YouTube tasks via Rube MCP (Composio): upload videos, manage playlists, search content, get analytics, and handle comments. Always search tools first for current schemas.

AlperTuncOrtak/crypto-data-pipeline

Extract transcripts from YouTube videos and generate comprehensive, detailed summaries using intelligent analysis frameworks

Habilidades Relacionadas