CSV Pro
剖析 CSV 文件:列类型、统计信息、异常项。
当需要快速了解 CSV 中的内容时加载此技能: 列类型、值范围、空值、重复项和异常值。
🎯 使用时机
在以下情况使用此技能:
- 有一个 CSV 文件,需要了解其结构:列类型、min/max/mean、唯一值
- 需要在将数据加载到数据库或 ML 管道之前检查数据质量
- 被要求“剖析 csv”、“分析 csv”、“csv 中有什么”、“csv 异常”
- 需要异常报告:空列、重复行、异常值、过长字符串
请勿在以下情况使用:
- 需要带有相关性和建议的完整分析——请使用
data-analysis - 需要对数据执行 SQL 查询——请使用
sql-helper - 只需计算行数或总和——直接用
wc -l和awk更简单
📦 文件
SKILL.md— 本文件scripts/csv_pro.py— CSV 剖析器(Python 3 标准库)
🧰 用法
# 文件 → Markdown 格式分析报告(默认):
python3 skills/csv-pro/scripts/csv_pro.py --input data.csv
# 文件 → JSON:
python3 skills/csv-pro/scripts/csv_pro.py --input data.csv --output json
# 从标准输入读取(直接在管道中使用):
cat data.csv | python3 csv_pro.py --stdin
# 显式指定分隔符:
python3 csv_pro.py --input data.csv --delimiter ';'
规范类比
完整规范模式参考手册参见 references/canonical-patterns.md。
主要类比及要点:
- ydata-profiling — 标准指标集(偏度、峰度、分位数、平均绝对偏差、无限计数器)和 18 种告警类型。
- csvkit csvstat — CLI 标准:
csvstat data.csv --json,指标len和maxprecision。 - DuckDB SUMMARIZE — 带有近似分位数和
null_percentage的 SQL 剖析。 - Great Expectations — 可检查的断言字典(63 个核心期望)。
- dataprep.EDA — 类型化洞察:零值、负值、固定长度、高基数。
🔬 结果验证
- Markdown:包含“列”表(类型、唯一值、空值、min/max/mean、Top-3)和“异常”部分。
- JSON:有效的 JSON,包含
columns和anomalies字段——通过python3 -m json.tool验证。 - 空文件:输出“文件为空”,退出码 0。
- 文件缺失:将错误信息写入 stderr,退出码 1。