assafelovic/gpt-researcher

gpt-researcher は何をしますか？

多様なデジタル情報ソースからクリーンなセマンティックテキストブロックを収穫するために構築された並列ウェブスクレイピングコンポーネントです。

概要

このコンポーネントは、複数のWebソースからデータを同時にスクレイピングし、各ページの主要なテキストコンテンツを抽出して、意味的に一貫性のあるブロックにセグメント化します。これにより、下流のAIモデルや分析パイプラインで使用可能な、ノイズの少ない高品質なテキストデータが生成されます。

主な機能

• 並列スクレイピング: 非同期リクエストを使用して複数のURLを同時に処理。
• セマンティックテキスト抽出: 不要なHTMLタグやスクリプトを除去し、主要なテキストブロックを特定。
• 重複排除: 類似したコンテンツを自動的に識別し、重複を排除。
• マークダウン互換出力: 抽出されたテキストはマークダウン形式で保存可能。

クイックスタート

1. 依存関係をインストールします:

   pip install -r requirements.txt
   

2. スクレイピングを実行します:

   python researcher.py --sources "https://example.com" "https://example.org"
   

3. 出力は output/ ディレクトリに保存されます。

設定

環境変数または設定ファイルで以下のパラメータを調整できます:

• MAX_CONCURRENT_REQUESTS: 同時リクエスト数（デフォルト: 5）
• TIMEOUT: 各リクエストのタイムアウト（秒）（デフォルト: 30）
• OUTPUT_FORMAT: 出力形式（デフォルト: markdown）

使用例

from researcher import scrape_sources

sources = ["https://docs.python.org/3/", "https://www.wikipedia.org/"]
results = await scrape_sources(sources)
for result in results:
    print(result.title)
    print(result.text[:500])

サポートされているプラットフォーム

• Claude Code
• Cursor
• Codex
• その他のAIエージェント

ライセンス

このプロジェクトはMITライセンスの下で公開されています。詳細はLICENSEファイルを参照してください。