O que Acelerador de Taxa de Dados faz?
Utilize esta skill quando o gargalo for mover, transformar ou salvar muitos dados. O objetivo não é apenas velocidade. O objetivo é que os dados corretos cheguem mais rápido ao lugar certo, com prova.
Primeira Distinção
Separe estes itens antes de otimizar:
- velocidade de extração da origem;
- velocidade de transferência de rede;
- velocidade de warehouse/carga;
- velocidade de transformação;
- frescor da tabela de serviço;
- crescimento contínuo de dados novos enquanto o job é executado.
Um pipeline pode ser "rápido" e ainda parecer atrasado se novos dados chegarem mais rápido que a janela final de captura.
Heurísticas de Caminho Rápido
- Mova a computação para onde os dados já estão.
- Prefira varreduras, junções e anexos nativos do warehouse para arquivos grandes já carregados.
- Use manifestos ou checkpoints para que arquivos/partições já processadas sejam ignorados.
- Use particionamento e clustering que correspondam ao padrão de leitura e anexo.
- Agrupe arquivos pequenos, requisições e gravações.
- Torne as gravações idempotentes por meio de chaves únicas, manifestos ou staging substituível.
- Mantenha tabelas raw, derivadas e de serviço com responsabilidades separadas e auditáveis.
Fluxo de Trabalho
- Leia os contratos atuais de origem, destino e manifesto.
- Meça o backlog: arquivos externos, linhas no manifesto, linhas raw, linhas derivadas, timestamps mín/máx e contagens não processadas.
- Execute uma captura segura ou um benchmark de amostra.
- Compare variantes: tamanho do lote, número de workers, SQL do warehouse, agrupamento de arquivos, formato do staging e método de atualização do manifesto.
- Promova apenas o caminho mais rápido que mantenha contagens e timestamps coerentes.
- Codifique o caminho como CLI, job agendado, workflow ou runbook.
- Reexecute a contabilidade final após a execução do caminho codificado.
Saída de Contabilidade
Use um bloco de contabilidade rígido:
Resultado da taxa de dados:
- Arquivos de origem descobertos: 294
- Arquivos processados nesta execução: 294
- Linhas raw adicionadas: 9.683.598
- Linhas derivadas adicionadas: 8.917.585
- Calda restante: 24 arquivos no momento da releitura
- Tempo de execução: 38,7s
- Portão de correção: contagens do manifesto e timestamps máximos da tabela coincidem
Guardrails
- Não exclua dados brutos para melhorar uma métrica.
- Não ignore arquivos com falha silenciosamente.
- Não misture o status de backfill histórico com o frescor da calda contínua.
- Não considere um pipeline completo até que as tabelas de destino e o manifesto estejam de acordo.
- Para dados financeiros, de saúde, regulados ou que impactem clientes, preserve evidências de replay e portões de aprovação.