firecrawl-cli は何をしますか？
AgentスキルまたはAIエージェントツールリポジトリ。クロスモデルデイリースキルハントによって発見されました。
概要
Firecrawl CLIは、Webサイトをクロールし、そのコンテンツをMarkdown形式に変換する強力なコマンドラインツールです。これにより、大規模言語モデル（LLM）やAIエージェントがWeb上の情報を簡単に読み取り、処理できるようになります。
主な機能
- WebページのMarkdown変換: 任意のURLのWebページをクリーンなMarkdown形式に変換します。
- サイト全体のクロール: 指定されたWebサイト全体をクロールし、ページをMarkdownとして保存します。
- 構造化データ抽出: CSSセレクタやカスタム抽出ルールを使用して、ページから特定のデータを抽出します。
- 並列処理: 複数のリクエストを同時に実行し、効率的にデータを収集します。
- 出力形式の柔軟性: Markdownのほか、JSONや生HTMLとしても出力可能です。
インストール
npm install -g @firecrawl/cli
または、npxを使用して直接実行することもできます。
npx @firecrawl/cli <url>
使用方法
基本的な使用法
単一のページをMarkdownに変換するには：
firecrawl https://example.com
サイトをクロールする
firecrawl crawl https://example.com --output ./output
カスタムオプション
firecrawl crawl https://example.com \
--limit 50 \
--max-depth 3 \
--concurrency 10 \
--exclude-paths '/blog/*,/admin/*'
APIキーの設定
Firecrawl APIを使用するには、環境変数FIRECRAWL_API_KEYを設定します。
export FIRECRAWL_API_KEY=your_api_key_here
統合
Firecrawl CLIは、以下のようなAIエージェントフレームワークとシームレスに統合できます：
- Claude Code: Claude Codeのスキルとして直接利用可能。
- Cursor: Cursorのエージェントモードで使用。
- Codex: AIコード生成パイプラインに組み込み。
- その他: 任意のシェルスクリプトやCI/CDパイプラインに統合。
注意事項
- ターゲットWebサイトの
robots.txtを尊重してください。 - 大量のリクエストを行う前に、サイトの利用規約を確認してください。
- クロール頻度には適切な制限を設けてください。
ライセンス
このプロジェクトはMITライセンスの下で公開されています。