¿Qué hace mining-data-preparation?
Resuelve el problema de "los archivos se pueden abrir, pero los datos no se pueden comparar directamente", permitiendo que registros de múltiples fuentes ingresen al análisis posterior mientras se preservan los cambios del campo.
Capacidades principales
- Alineación de múltiples fuentes: Asocia la salida de instrumentos, el registro de puntos de medición y los registros de minería según tiempo, espacio y objetos.
- Limpieza basada en evidencia: Identifica duplicados, faltantes, deriva y problemas de unidades, evitando descartar anomalías reales de ingeniería como ruido.
- Proceso verificable: Conserva los valores originales, las bases de transformación y el mapeo de registros, permitiendo revisión y reprocesamiento.
Para empezar
Primero, comprenda si los datos se utilizarán para gráficos, comparaciones estadísticas, identificación de anomalías o modelado; luego revise la estructura del archivo, los significados de los campos y la cobertura. La granularidad del procesamiento se determina según el objetivo del análisis; las normas de datos existentes deben priorizarse, no se obliga a convertir a una plantilla unificada.
Flujo de trabajo
- Identifique la granularidad del registro, los significados de los campos y el propósito del análisis descendente.
- Primero, use herramientas de perfilado local para examinar campos, faltantes, duplicados y cobertura temporal, luego interprete los problemas en combinación con las condiciones de operación.
- Según reglas claras, transforme, asocie o limpie en una copia, conservando los valores originales y el mapeo de registros.
- Verifique el impacto del procesamiento y entregue datos utilizables junto con los problemas que aún limitan el análisis.
Uso de recursos según necesidad
- Antes de usar herramientas locales, lea Parámetros y ámbito de aplicación, luego invoque scripts/profile_csv.py. La herramienta solo procesa los formatos y capacidades descritos, no representa que la tarea completa esté terminada.
- Para comprender por primera vez el formato de entrada, revise el ejemplo sintético examples/monitoring.csv; los datos de demostración no deben considerarse como mediciones reales ni parámetros normativos.
- Para selección de métodos, juicio de límites o casos complejos: lea references/methods.md.
- Cuando necesite organizar rápidamente el contenido de entrega, copie y recorte assets/data-dictionary.csv; este es un punto de partida opcional, no un formato de salida fijo.
Entrega
Cuando haya archivos reales, entregue una copia de datos analizable junto con las descripciones de campos necesarias, marcas de problemas y un registro de procesamiento conciso. Si solo se necesita una revisión, enfoque en los problemas principales que afectan el análisis y sugerencias de corrección. El formato de salida sigue el flujo de trabajo del usuario; no genere múltiples conjuntos de datos repetidamente para fines de exhibición.
La limpieza completa no significa que el estado de ingeniería sea normal; las anomalías en los registros originales deben dejarse para el análisis posterior y la revisión.