O que preparação-de-dados-de-mineração faz?
Resolve o problema de "arquivos que abrem, mas dados que não podem ser comparados diretamente", permitindo que registros de múltiplas fontes entrem em análises subsequentes preservando as variações de campo.
Capacidades Principais
- Alinhamento multi-fonte: Associa saídas de instrumentos, cadastros de pontos de medição e registros de mineração por tempo, espaço e objeto.
- Limpeza fundamentada: Identifica duplicatas, dados faltantes, deriva e problemas de unidade, evitando que anomalias reais de engenharia sejam descartadas como ruído.
- Processo rastreável: Mantém valores originais, fundamentos de transformação e mapeamento de registros para suporte a revisão e reprocessamento.
Começando
Primeiro, entenda se os dados serão usados para plotagem, comparação estatística, identificação de anomalias ou modelagem, depois verifique a estrutura dos arquivos, os significados dos campos e a cobertura. A granularidade do tratamento é determinada pelo objetivo da análise; normas de dados existentes devem ser priorizadas, sem imposição de conversão para um modelo único.
Fluxo de Trabalho
- Identifique a granularidade dos registros, o significado dos campos e o propósito da análise downstream.
- Use primeiro ferramentas de perfilamento local para examinar campos, dados faltantes, duplicatas e cobertura temporal, depois interprete problemas com base nas condições operacionais.
- Com base em regras explícitas, transforme, associe ou limpe em cópias, mantendo valores originais e mapeamento de registros.
- Verifique os impactos do tratamento e entregue dados utilizáveis e questões que ainda limitam a análise.
Uso de Recursos Conforme Necessidade
- Antes de usar ferramentas locais, leia Parâmetros e Escopo de Aplicação e depois chame scripts/profile_csv.py. As ferramentas tratam apenas os formatos e capacidades descritos, não representando conclusão da tarefa completa.
- Ao conhecer o formato de entrada pela primeira vez, consulte o exemplo sintético examples/monitoring.csv; dados de demonstração não devem ser tratados como medições reais ou parâmetros normativos.
- Para seleção de métodos, julgamento de limites ou casos complexos: leia references/methods.md.
- Para organizar rapidamente o conteúdo de entrega, copie e adapte assets/data-dictionary.csv; este é um ponto de partida opcional, não um formato de saída fixo.
Entrega
Quando houver arquivos reais, entregue uma cópia dos dados analisáveis, juntamente com as descrições de campo necessárias, marcações de problemas e um registro conciso do tratamento. Se for apenas uma verificação, concentre-se nos problemas principais que afetam a análise e nas sugestões de correção. O formato de saída segue o fluxo de trabalho do usuário, sem gerar múltiplos conjuntos de dados para exibição.
Limpeza concluída não significa que a condição de engenharia seja normal; anomalias nos registros originais devem ser deixadas para análises e revisões subsequentes.