Common Crawl 索引查询代理 是做什么的?
用于大规模网络存档研究和数据提取,查询 Common Crawl 索引 API。支持 CDX 服务器 API、基于 warcio 的 WARC 记录解析以及 Common Crawl S3 存储桶的批量数据访问。
安装
基本使用或入门说明:
-
Common Crawl 数据存储在 Amazon Web Services 的公共数据集上。所有数据和索引文件均可免费下载。您可以自行运行索引服务器,或离线分析索引。
-
更多关于 URL 索引的信息,请参见原始公告。如需帮助,请访问 Common Crawl 用户论坛或 Discord 服务器。另请参阅入门指南。