mining-data-preparation (Bergbau-Datenaufbereitung)
Löst das Problem "Dateien können geöffnet werden, aber die Daten sind nicht direkt vergleichbar", sodass mehrquellige Aufzeichnungen unter Beibehaltung der Feldveränderungen für die nachgelagerte Analyse verwendet werden können.
Kernfähigkeiten
- Multiquellen-Ausrichtung: Verbindet Instrumentenausgaben, Messpunktverzeichnisse und Betriebsprotokolle nach Zeit, Raum und Objekt.
- Begründete Bereinigung: Erkennt Duplikate, Ausfälle, Drift und Einheitenprobleme, um zu vermeiden, dass echte technische Anomalien fälschlicherweise als Rauschen eliminiert werden.
- Nachvollziehbare Verarbeitung: Behält Originalwerte, Transformationsnachweise und Aufzeichnungszuordnungen für Überprüfungen und wiederholte Verarbeitungen bei.
Erste Schritte
Verstehen Sie zunächst, ob die Daten für Zeichnungen, statistische Vergleiche, Anomalieerkennung oder Modellierung verwendet werden sollen, und prüfen Sie dann die Dateistruktur, die Feldbedeutungen und den Abdeckungsbereich. Das Verarbeitungsgranularität wird durch die Analyseziele bestimmt; vorhandene Datenstandards haben Vorrang und werden nicht zwangsweise in eine einheitliche Vorlage konvertiert.
Arbeitsablauf
- Identifizieren Sie das Aufzeichnungsgranularität, die Feldbedeutungen und die Verwendungszwecke der nachgelagerten Analyse.
- Verwenden Sie zunächst lokale Profilierungswerkzeuge, um Felder, Ausfälle, Duplikate und Zeitabdeckung zu überprüfen, und interpretieren Sie dann die Probleme im Kontext der Betriebsbedingungen.
- Konvertieren, verknüpfen oder bereinigen Sie auf der Grundlage klarer Regeln auf einer Kopie der Daten, wobei die Originalwerte und Aufzeichnungszuordnungen erhalten bleiben.
- Überprüfen Sie die Auswirkungen der Verarbeitung und liefern Sie nutzbare Daten sowie die noch die Analyse einschränkenden Probleme.
Ressourcen bei Bedarf nutzen
- Lesen Sie vor der Verwendung lokaler Tools Parameter und Anwendungsbereich und rufen Sie dann scripts/profile_csv.py auf. Tools verarbeiten nur das beschriebene Format und die angegebene Fähigkeit; dies bedeutet nicht, dass die gesamte Aufgabe abgeschlossen ist.
- Wenn Sie das Eingabeformat zum ersten Mal kennenlernen, sehen Sie sich das synthetische Beispiel examples/monitoring.csv an; Demonstrationsdaten sollten nicht als tatsächliche Messungen oder Standardparameter betrachtet werden.
- Methodenauswahl, Grenzbewertung oder komplexe Fälle: Lesen Sie references/methods.md.
- Wenn Sie schnell eine Lieferung organisieren müssen, kopieren und beschneiden Sie assets/data-dictionary.csv; dies ist ein optionaler Ausgangspunkt, kein festgelegtes Ausgabeformat.
Lieferung
Liefern Sie bei tatsächlichen Dateien eine analysierbare Datenkopie zusammen mit den erforderlichen Feldbeschreibungen, Problemkennzeichnungen und prägnanten Verarbeitungsnotizen. Wenn nur eine Überprüfung erforderlich ist, konzentrieren Sie sich auf die Hauptprobleme, die die Analyse beeinflussen, und auf Korrekturvorschläge. Das Ausgabeformat folgt dem Arbeitsablauf des Benutzers; es werden nicht mehrere Datensätze nur zur Anzeige generiert.
Eine Bereinigung bedeutet nicht, dass der betriebliche Zustand normal ist; auffällige Phänomene in den Originaldaten sollten für die nachfolgende Analyse und Überprüfung erhalten bleiben.