Apify Actor Web Crawler は何をしますか?
カスタムApify ActorをApify API v2を介してデプロイし、CrawleeJSを使用した大規模なWebクローリングを実現します。Apifyのデータセットストレージ、RequestQueue、プロキシ設定を活用し、分散スクレイピングを大規模に行います。
インストール
お使いの環境に応じて、アップストリームのインストールまたはセットアップパスを使用してください。
- npm install apify
アップストリームからの要件と注意事項:
- Apify SDKにはNode.js 16以降が必要です。以下のコマンドを実行して、任意のNode.jsプロジェクトにApify SDKを追加します。
基本的な使用方法や開始手順:
-
この短いチュートリアルで、Apify SDKを数分で使い始められるようになります。
-
さらに詳しく学びたい場合は、Apify Platformガイドに進んでください。このガイドでは、Apifyのプラットフォーム上でActorを実行する手順を段階的に説明しています。
-
アップストリームのドキュメントから抽出: https://raw.githubusercontent.com/apify/apify-sdk-js/HEAD/README.md