Colly Golang Web Scraper and Crawler Framework は何をしますか?
Collyは、Goで書かれた高速なオープンソースのスクレイピング・クローリングフレームワークです。シンプルなページ抽出から、リクエストコールバックと構造化パースを使用して大量のページ群を処理する非同期クローラーまで、幅広い用途に構築されています。
インストール
上流からの要件と注意点:
- docker-slim/docker-slim Dockerコンテナを最適化してより小さくします。
基本的な使い方やスタートアップノート:
-
例
-
go get github.com/gocolly/colly/v2
-
バグ
-
上流ドキュメントから抽出: https://raw.githubusercontent.com/gocolly/colly/HEAD/README.md