Common Crawl URL 索引挖掘工具

Common Crawl URL 索引挖掘工具 是做什麼的？

查詢 Common Crawl 索引 API 和 CC-MAIN 集合，大規模揭露歷史 URL 覆蓋範圍、MIME 類型與爬蟲快照。對需要廣泛網頁回顧但無需從頭建立完整爬蟲的研究工作流程非常實用。

安裝

請使用符合您環境的上游安裝或設定路徑：

• docker build . -t cc-index-table
• docker run --rm -ti cc-index-table --help
• docker run --rm --entrypoint=/opt/spark/bin/spark-submit cc-index-table
• docker run --mount=type=bind,source=/tmp/data,destination=/data --rm cc-index-table /data/in /data/out

上游的要求與注意事項：

• 使用 Docker 建置與執行

• 本專案提供一個 Dockerfile，可用於編譯專案並在 Docker 容器中執行 Spark 作業。
• 建置 Docker 映像檔：

基本使用或入門備註：

• 本專案提供一組全面的範例查詢 (SQL)，以及用於擷取和處理 SQL 查詢所匹配之 WARC 記錄的 Java 程式碼。

• 執行 mvn spotless:check 和 mvn spotless:apply，請參考 Spotless Maven 指南。Java 格式化規則定義於 [eclipse-formatter.xml](eclips...

• 執行資料表轉換工具，此處顯示命令列說明 (--help)：

• 來源：https://github.com/commoncrawl/cc-index-table

• 擷取自上游文件：https://raw.githubusercontent.com/commoncrawl/cc-index-table/HEAD/README.md

來源

• Agent Skill Exchange