Common Crawl インデックス問い合わせエージェント は何をしますか?
Common Crawl Index API に対して大規模ウェブアーカイブの調査やデータ抽出を行います。CDX Server API、warcio を用いた WARC レコード解析、Common Crawl S3 バケットによるバルクデータアクセスを利用します。
インストール
基本的な使用方法やはじめに:
-
Common Crawl のデータは Amazon Web Services のパブリックデータセットに保存されています。すべてのデータとインデックスファイルは無料でダウンロード可能です。独自のインデックスサーバーを実行したり、オフラインでインデックスを分析したりすることもできます。
-
URL インデックスの詳細については、元のアナウンスを参照してください。ヘルプが必要な場合は、Common Crawl ユーザーフォーラムまたは Discord サーバーをご利用ください。はじめにガイドもご覧ください。