mining-data-preparation
Résout le problème « Le fichier s'ouvre, mais les données ne peuvent pas être comparées directement », en permettant aux enregistrements de multiples sources de conserver les variations de terrain avant de passer à l'analyse en aval.
Capacités principales
- Alignement multi-source : Associe les sorties d'instruments, les registres de points de mesure et les journaux d'exploitation minière selon le temps, l'espace et les objets.
- Nettoyage raisonné : Identifie les doublons, les valeurs manquantes, les dérives et les problèmes d'unités, évitant d'éliminer par erreur des anomalies réelles d'ingénierie comme du bruit.
- Processus traçable : Conserve les valeurs originales, les justifications des transformations et les correspondances d'enregistrements, permettant la vérification et le retraitement.
Pour commencer
Avant tout, comprenez si les données seront utilisées pour des graphiques, des comparaisons statistiques, la détection d'anomalies ou la modélisation. Ensuite, examinez la structure des fichiers, la signification des champs et la couverture temporelle. La granularité du traitement est déterminée par les objectifs de l'analyse ; les standards de données existants doivent être respectés, sans forcer une conversion vers un modèle unique.
Workflow
- Identifiez la granularité des enregistrements, la signification des champs et l'usage en aval de l'analyse.
- Utilisez d'abord les outils de profilage locaux pour examiner les champs, les valeurs manquantes, les doublons et la couverture temporelle, puis interprétez les problèmes en fonction des conditions opératoires.
- Convertissez, associez ou nettoyez sur une copie des données en suivant des règles claires, en conservant les valeurs originales et les correspondances.
- Vérifiez l'impact du traitement et livrez les données exploitables ainsi que les problèmes qui limitent encore l'analyse.
Utilisation des ressources selon les besoins
- Avant d'utiliser les outils locaux, lisez Paramètres et domaine d'application, puis appelez scripts/profile_csv.py. Les outils ne traitent que les formats et capacités décrits ; leur utilisation ne garantit pas que la tâche complète est terminée.
- Pour une première compréhension du format d'entrée, examinez l'exemple synthétique examples/monitoring.csv ; les données de démonstration ne doivent pas être considérées comme des mesures réelles ou des paramètres normatifs.
- Pour le choix des méthodes, les jugements de limites ou les cas complexes : lisez references/methods.md.
- Pour organiser rapidement les livrables, copiez et adaptez assets/data-dictionary.csv ; il s'agit d'un point de départ optionnel, pas d'un format de sortie fixe.
Livrables
En présence de fichiers réels, livrez une copie des données analysables avec les descriptions de champs nécessaires, les marqueurs de problèmes et un enregistrement concis du traitement. Si seule une vérification est demandée, concentrez-vous sur les principaux problèmes affectant l'analyse et les recommandations de correction. Le format de sortie suit le workflow de l'utilisateur ; ne générez pas plusieurs jeux de données redondants pour la démonstration.
Un nettoyage terminé ne signifie pas que l'état d'ingénierie est normal ; les anomalies dans les enregistrements originaux doivent être laissées à l'analyse et à la vérification ultérieures.