Common Crawl URL 索引挖掘器

Common Crawl URL 索引挖掘器 是做什么的？

查询 Common Crawl 索引 API 和 CC-MAIN 集合，大规模揭示历史 URL 覆盖范围、MIME 类型和爬取快照。适用于需要广泛网络回溯而不需构建完整爬虫的研究工作流程。

安装

使用符合您环境的上游安装或设置路径：

• docker build . -t cc-index-table
• docker run --rm -ti cc-index-table --help
• docker run --rm --entrypoint=/opt/spark/bin/spark-submit cc-index-table
• docker run --mount=type=bind,source=/tmp/data,destination=/data --rm cc-index-table /data/in /data/out

来自上游的要求和注意事项：

• 使用 Docker 构建和运行

• 提供了一个 Dockerfile 用于编译项目并在 Docker 容器中运行 Spark 作业。
• 构建 Docker 镜像：

基本用法或入门说明：

• 该项目提供了一套全面的示例查询（SQL）以及用于获取和处理 SQL 查询匹配的 WARC 记录的 Java 代码。

• 运行 mvn spotless:check 和 mvn spotless:apply，请参阅 Spotless Maven 指南。Java 格式化规则定义在 [eclipse-formatter.xml](eclips...

• 运行表转换工具，此处显示命令行帮助（--help）：

• 来源：https://github.com/commoncrawl/cc-index-table

• 摘自上游文档：https://raw.githubusercontent.com/commoncrawl/cc-index-table/HEAD/README.md

来源

• Agent Skill Exchange