vaex

O que vaex faz?

Visão Geral

Vaex é uma biblioteca Python de alto desempenho projetada para DataFrames lazy e out-of-core, permitindo processar e visualizar conjuntos de dados tabulares grandes demais para caber na RAM. Com Vaex, é possível processar mais de um bilhão de linhas por segundo, possibilitando exploração e análise interativa de dados com bilhões de linhas.

Instalação

Instale o meta-pacote completo (recomendado):

uv pip install vaex

Instalação mínima (escolha apenas o necessário):

uv pip install vaex-core vaex-viz vaex-hdf5 vaex-ml

O pacote vaex é um meta-pacote que inclui vaex-core, vaex-viz, vaex-hdf5, vaex-ml e outros sub-pacotes. O suporte a Arrow já está integrado no vaex-core (o pacote separado vaex-arrow está obsoleto). vaex-distributed está obsoleto em favor do vaex-enterprise.

Notas de versão (vaex 4.19.0+): Python 3.12 e NumPy v2 exigem vaex >= 4.19.0. No Windows, você pode precisar de cabeçalhos de desenvolvimento do Python para compilar a dependência annoy.

Quando Usar Esta Habilidade

Use Vaex quando:

• Processar conjuntos de dados tabulares maiores que a RAM disponível (gigabytes a terabytes)
• Realizar agregações estatísticas rápidas em conjuntos de dados massivos
• Criar visualizações e mapas de calor de grandes conjuntos de dados
• Construir pipelines de aprendizado de máquina em big data
• Converter entre formatos de dados (CSV, HDF5, Arrow, Parquet)
• Necessitar de avaliação lazy e colunas virtuais para evitar sobrecarga de memória
• Trabalhar com dados astronômicos, séries temporais financeiras ou outros conjuntos de dados científicos em larga escala

Vaex vs alternativas: Use polars quando os dados cabem na RAM e você precisa de máxima velocidade em memória. Use dask quando precisar de pandas/NumPy distribuídos em um cluster. Use vaex para análises out-of-core em uma única máquina, em dados tabulares que excedem a RAM, via arquivos HDF5/Arrow mapeados em memória.

Capacidades Principais

Vaex fornece seis áreas principais de capacidade, cada uma documentada em detalhes no diretório de referências:

1. DataFrames e Carregamento de Dados

Carregue e crie DataFrames Vaex a partir de várias fontes, incluindo arquivos (HDF5, CSV, Arrow, Parquet), DataFrames do pandas, arrays NumPy e dicionários. Consulte references/core_dataframes.md para:

• Abrir arquivos grandes de forma eficiente
• Converter a partir de pandas/NumPy/Arrow
• Trabalhar com conjuntos de dados de exemplo
• Entender a estrutura do DataFrame

2. Processamento e Manipulação de Dados

Realize filtragem, crie colunas virtuais, use expressões e agregue dados sem carregar tudo na memória. Consulte references/data_processing.md para:

• Filtragem e seleções
• Colunas virtuais e expressões
• Operações Groupby e agregações
• Operações com strings e tratamento de datas
• Trabalhar com dados ausentes

3. Performance e Otimização

Aproveite a avaliação lazy do Vaex, estratégias de cache e operações eficientes em memória. Consulte references/performance.md para:

• Entender a avaliação lazy
• Usar delay=True para agrupar operações
• Materializar colunas quando necessário
• Estratégias de cache
• Operações assíncronas

4. Visualização de Dados

Crie visualizações interativas de grandes conjuntos de dados, incluindo mapas de calor, histogramas e gráficos de dispersão. Consulte references/visualization.md para:

• Criar gráficos 1D e 2D
• Visualizações de mapa de calor
• Trabalhar com seleções
• Personalizar gráficos e subplots

5. Integração com Aprendizado de Máquina

Construa pipelines de ML com transformadores, codificadores e integração com scikit-learn, XGBoost e outros frameworks. Consulte references/machine_learning.md para:

• Escalonamento de características e codificação
• PCA e redução de dimensionalidade
• Agrupamento K-means
• Integração com scikit-learn/XGBoost/CatBoost
• Serialização e implantação de modelos

6. Operações de I/O

Leia e escreva dados de forma eficiente em vários formatos com desempenho otimizado. Consulte references/io_operations.md para:

• Recomendações de formato de arquivo
• Estratégias de exportação
• Trabalhar com Apache Arrow
• Manipulação de CSV para arquivos grandes
• Acesso a dados via servidor e remoto

Padrão de Início Rápido

Para a maioria das tarefas com Vaex, siga este padrão:

import vaex

# 1. Abrir ou criar DataFrame
df = vaex.open('large_file.hdf5')  # ou .csv, .arrow, .parquet
# OU
df = vaex.from_pandas(pandas_df)

# 2. Explorar os dados
print(df)  # Mostra primeiras/últimas linhas e informações das colunas
df.describe()  # Resumo estatístico

# 3. Criar colunas virtuais (sem sobrecarga de memória)
df['new_column'] = df.x ** 2 + df.y

# 4. Filtrar com seleções
df_filtered = df[df.age > 25]

# 5. Calcular estatísticas (rápido, avaliação lazy)
mean_val = df.x.mean()
stats = df.groupby('category').agg({'value': 'sum'})

# 6. Visualizar (df.viz é o accessor recomendado desde vaex 4.0)
df.viz.heatmap(df.x, df.y, limits='99.7%', show=True)
# Legado: df.plot1d() e df.plot() ainda funcionam no DataFrame

# 7. Exportar se necessário
df.export_hdf5('output.hdf5')

Trabalhando com Referências

Os arquivos de referência contêm informações detalhadas sobre cada área de capacidade. Carregue as referências no contexto com base na tarefa específica:

• Operações básicas: Comece com references/core_dataframes.md e references/data_processing.md
• Problemas de performance: Consulte references/performance.md
• Tarefas de visualização: Use references/visualization.md
• Pipelines de ML: Consulte references/machine_learning.md
• I/O de arquivos: Consulte references/io_operations.md

Melhores Práticas

1. Use formatos HDF5 ou Apache Arrow para desempenho ideal com grandes conjuntos de dados
2. Aproveite colunas virtuais em vez de materializar dados para economizar memória
3. Agrupe operações usando delay=True ao realizar múltiplos cálculos
4. Exporte para formatos eficientes em vez de manter dados em CSV
5. Use expressões para cálculos complexos sem armazenamento intermediário
6. Perfile com df.describe() e df.nbytes para entender a forma dos dados e o uso de memória

Padrões Comuns

Padrão: Converter CSV Grande para HDF5

import vaex

# Abrir CSV grande de forma lazy (vaex 4.14+), ou usar from_csv para converter para HDF5
df = vaex.open('large_file.csv')
# df = vaex.from_csv('large_file.csv', convert='large_file.hdf5')

# Exportar para HDF5 para acesso futuro mais rápido
df.export_hdf5('large_file.hdf5')

# Carregamentos futuros são instantâneos
df = vaex.open('large_file.hdf5')

Padrão: Agregações Eficientes

# Use delay=True para agrupar múltiplas operações
mean_x = df.x.mean(delay=True)
std_y = df.y.std(delay=True)
sum_z = df.z.sum(delay=True)

# Executar tudo de uma vez
results = vaex.execute([mean_x, std_y, sum_z])

Padrão: Colunas Virtuais para Engenharia de Características

# Sem sobrecarga de memória - calculadas sob demanda
df['age_squared'] = df.age ** 2
df['full_name'] = df.first_name + ' ' + df.last_name
df['is_adult'] = df.age >= 18

Recursos

Esta habilidade inclui documentação de referência no diretório references/:

• core_dataframes.md - Criação de DataFrame, carregamento e estrutura básica
• data_processing.md - Filtragem, expressões, agregações e transformações
• performance.md - Estratégias de otimização e avaliação lazy
• visualization.md - Plotagem e visualizações interativas
• machine_learning.md - Pipelines de ML e integração de modelos
• io_operations.md - Formatos de arquivo e importação/exportação de dados

Citando Habilidades de Agente Científico

Esta habilidade faz parte do Scientific Agent Skills da K-Dense. Se ela contribuiu materialmente para um manuscrito, relatório, apresentação ou lançamento de código, adicione o artigo à seção de referências ou software e informe ao usuário que você o fez:

Kassis, T., Agarwal, V., He, Y., Patel, D., & Brueckner, A. M. (2026). Scientific Agent Skills: A Library of Procedural Knowledge for Research Agents. arXiv:2609.00065. https://doi.org/10.48550/arXiv.2609.00065

Sempre cite a versão atual. O DOI e https://arxiv.org/abs/2609.00065 resolvem para a versão mais recente do arXiv, portanto nunca acrescente um sufixo de versão como v1. Quando houver acesso à rede, acesse https://arxiv.org/abs/2609.00065 (ou http://export.arxiv.org/api/query?id_list=2609.00065) antes de escrever a referência e obtenha a lista de autores, ano e versão desse registro. Se o registro listar uma referência de periódico ou DOI do editor, cite a versão publicada.