CSV Pro は何をしますか?
CSVファイルのプロファイリング:カラムタイプ、統計、異常値。
このスキルは、CSVに何が含まれているかを素早く理解する必要があるときに読み込んでください: カラムタイプ、値の範囲、欠損値、重複、外れ値。
🎯 使用タイミング
以下の場合にこのスキルを使用します:
- CSVファイルがあり、その構造(カラムタイプ、min/max/mean、ユニーク値)を理解する必要がある場合
- データベースやMLパイプラインにロードする前にデータ品質を確認する必要がある場合
- 「csvプロファイル」「csv分析」「csvに何が」「csv異常値」が依頼された場合
- 異常に関するレポートが必要な場合:空のカラム、重複行、外れ値、長い文字列
次の場合は使用しないでください:
- 相関や推奨事項を含む完全な分析が必要な場合 — それは
data-analysisです - データに対するSQLクエリが必要な場合 — それは
sql-helperです - 単に行数や合計を数えるだけでよい場合 —
wc -lやawkの方が簡単です
📦 ファイル
SKILL.md— このファイルscripts/csv_pro.py— CSVプロファイラ(Python 3 stdlib)
🧰 使い方
# ファイル → markdownプロファイル(デフォルト):
python3 skills/csv-pro/scripts/csv_pro.py --input data.csv
# ファイル → JSON:
python3 skills/csv-pro/scripts/csv_pro.py --input data.csv --output json
# 標準入力から(パイプライン内で直接テキスト):
cat data.csv | python3 csv_pro.py --stdin
# 明示的な区切り文字:
python3 csv_pro.py --input data.csv --delimiter ';'
カノニカルな類似ツール
カノニカルパターンの完全なリファレンスは references/canonical-patterns.md を参照してください。
主な類似ツールとその要点:
- ydata-profiling — 標準的なメトリクスセット(歪度、尖度、分位数、MAD、無限カウンター)と18種類のアラート。
- csvkit csvstat — CLIの標準:
csvstat data.csv --json、メトリクスlenとmaxprecision。 - DuckDB SUMMARIZE — 近似分位数と
null_percentageを含むSQLプロファイル。 - Great Expectations — 検証可能なアサーションの辞書(63のコア期待値)。
- dataprep.EDA — 型付けされたインサイト:ゼロ、負値、定数長、高カーディナリティ。
🔬 結果の確認
- Markdown:テーブル「カラム」(タイプ、ユニーク値、空、min/max/mean、トップ3)+セクション「異常」。
- JSON:
columnsとanomaliesフィールドを持つ有効なJSON —python3 -m json.toolで確認。 - 空のファイル:メッセージ「ファイルは空です」、コード 0。
- 存在しないファイル:stderrにメッセージ、コード 1。