fvanevski/firecrawl_skill

firecrawl_skill とは？

このスキルは、Firecrawlの高度なウェブスクレイピングおよびクローリング機能と、構造化された永続的な研究コーパスを統合することで、Codexエージェントの研究能力を強化します。Firecrawlの機能を活用して、ページ全体のコンテンツをマークダウン形式で取得したり、再帰的なクローリングを実行したり、指定したパターンに一致するURLだけを収集したり、Cloudflareによる保護をバイパスしたりできます。クロール結果は自動的にローカルのマークダウンファイルに保存され、アプリケーション全体で参照や監査が可能な、バージョン管理された知識ベースを構築します。主な機能には、URLの取得とスクレイピング、深度制御可能なクローリング、特定のパスのみを含める除外フィルター、信頼性の高い後方互換性を備えたFirecrawl API v1のサポートが含まれます。このフレームワークは、スケーラブルで信頼性が高く、監査可能なウェブベースの研究のために設計されており、AIエージェントが外部情報を永続的なローカルストレージで強化して、情報に基づいた意思決定を行えるようにします。