Common Crawl 索引查詢代理 是做什麼的?
查詢 Common Crawl 索引 API,用於大規模網路存檔研究與資料擷取。使用 CDX Server API、warcio 進行 WARC 記錄解析,並透過 Common Crawl S3 儲存桶進行批次資料存取。
安裝
基本使用或入門說明:
-
Common Crawl 資料存放在 Amazon Web Services 的公共資料集上。所有資料和索引檔案均可免費下載。歡迎自行執行索引伺服器,或離線分析索引。
-
關於 URL 索引的更多資訊,請參閱原始公告。如需協助,請造訪 Common Crawl 使用者論壇或 Discord 伺服器。另請參閱入門指南。