mining-data-preparation
「ファイルは開けるがデータを直接比較できない」という問題を解決し、複数ソースの記録を現場の変化を保持したまま後続の分析に進めることを可能にします。
中核機能
- マルチソースアライメント：機器出力、測点台帳、採掘ログを時間、空間、およびオブジェクトで関連付けます。
- 根拠に基づくクレンジング：重複、欠測、ドリフト、単位の問題を識別し、実際の工学的異常をノイズとして除去しないようにします。
- 処理過程のトレーサビリティ：元の値、変換根拠、および記録マッピングを保持し、再確認や再処理に対応します。
開始時
まず、データがグラフ作成、統計比較、異常検出、モデリングのいずれに使用されるかを理解し、その後にファイル構造、フィールドの意味、カバレッジ範囲を確認します。処理の粒度は分析目的によって決定され、既存のデータ仕様があればそれを優先し、統一テンプレートへの変換は強制しません。
ワークフロー
- 記録の粒度、フィールドの意味、および下流の分析目的を特定します。
- まずローカルのプロファイリングツールを使用してフィールド、欠測、重複、時間範囲を確認し、その後運転条件と組み合わせて問題を解釈します。
- 明確なルールに基づき、コピー上で変換、関連付け、またはクレンジングを実行し、元の値と記録マッピングを保持します。
- 処理の影響を確認し、利用可能なデータと、分析を制限する問題を引き渡します。
リソースの必要なときだけ使用
- ローカルツールを使用する前に、パラメータと適用範囲 を読み、次に scripts/profile_csv.py を呼び出します。ツールは説明されたフォーマットと能力のみを処理し、タスク全体が完了したことを意味するわけではありません。
- 入力形式を初めて理解する際は、合成サンプル examples/monitoring.csv を参照してください。デモデータは実際の計測や標準パラメータとして扱わないでください。
- 方法の選択、境界の判断、または複雑な状況については、references/methods.md を読んでください。
- 納品物を迅速に整理する必要がある場合は、assets/data-dictionary.csv をコピーして編集します。これはオプションの出発点であり、固定された出力形式ではありません。
納品物
実ファイルがある場合、分析可能なデータのコピーと、必要なフィールド説明、問題タグ、簡潔な処理記録を提供します。チェックのみが必要な場合は、分析に影響を与える主要な問題と修正提案に焦点を当てます。出力形式はユーザーのワークフローに従い、表示のために複数セットのデータを重複生成することはありません。
クレンジングが完了したとしても、工学的状態が正常であることを意味するわけではありません。元の記録の異常現象は、後続の分析と再確認のために残しておくべきです。