XCrawl Skills
マルチエージェントランタイム向けの再利用可能なXCrawlスキル定義。APIファーストのWebデータワークフローに焦点を当てています。
正規リポジトリ: https://github.com/xcrawl-api/xcrawl-skills
English | 中文
XCrawlとは
XCrawlは、検索、スクレイピング、URLマッピング、サイトクローリングのためのWebデータインフラプロダクトです。 このリポジトリは、エージェントがXCrawl APIを一貫して呼び出せるようにするための、プロダクション向けスキル定義を提供します。
このリポジトリが提供するもの
- 一般的なXCrawlワークフロー向けの、すぐに使えるスキル
- リクエスト/レスポンスパラメータのドキュメント付きAPI指向の指示
- ランタイム実行に適したcURLおよびNode.jsのサンプル
- マルチエージェントオーケストレーションのための一貫したコントラクト
スキルカタログ
xcrawl: デフォルトのXCrawlエントリスキル。直接検索と単一URL抽出用xcrawl-scrape: 単一URL抽出と構造化データワークフローxcrawl-map: サイトURLの発見とスコープ計画ワークフローxcrawl-crawl: 一括サイトクローリングと非同期結果処理ワークフローxcrawl-search: 位置情報/言語制御付きクエリベースの検索ワークフロー
クイックスタート
1. 前提条件
- XCrawl APIキー
https://dash.xcrawl.com/に登録し、無料の1000クレジットプランを有効化- ランタイムバイナリ:
curlとnode - このリポジトリへのアクセス
2. ローカルAPIキーの設定
ローカル設定ファイルを作成:
パス: ~/.xcrawl/config.json
{
"XCRAWL_API_KEY": "<your_api_key>"
}
このリポジトリのスキルは、このローカルファイルから XCRAWL_API_KEY を読み取るように設計されています。
3. スキルの選択
以下のいずれかを開いてください:
skills/xcrawl/SKILL.mdskills/xcrawl-scrape/SKILL.mdskills/xcrawl-map/SKILL.mdskills/xcrawl-crawl/SKILL.mdskills/xcrawl-search/SKILL.md
各スキルには以下が含まれます:
- 適用可能なシナリオ
- リクエストパラメータ
- レスポンスパラメータ
- cURL / Node.js のサンプル
4. リクエストの実行
各 SKILL.md のサンプルをそのまま使用し、リクエストペイロードをビジネスシナリオに合わせて調整してください。
ユーザー意図の例
- 「このページを同期モードでスクレイピングし、markdownとリンクを返して。」
- 「このドメイン配下の
/docs/URLのみを上限2000でマッピングして。」 - 「制限付きクロール（深さ2、上限100）を開始し、完了までポーリングして。」
- 「米国英語で検索し、このクエリの上位20件の結果を返して。」
クロスエージェントコントラクト
各スキルはランタイムアダプター層を通じて実行できます。
- 入力の正規化:
goal,inputs,constraints,credentials_ref,runtime_context - 出力の正規化:
status,request_payload,raw_responseまたは非同期ペア,task_ids,error
デフォルトの動作は生のパススルーです: 上流APIのレスポンスボディをそのまま返します。
共有XCrawl規約
- ベースURL:
https://run.xcrawl.com - ローカル設定ファイル:
~/.xcrawl/config.json - ローカル設定のAPIキーフィールド:
XCRAWL_API_KEY - 認証ヘッダー:
Authorization: Bearer <XCRAWL_API_KEY> - 主要エンドポイント:
POST /v1/scrapeおよびGET /v1/scrape/{scrape_id}POST /v1/mapPOST /v1/crawlおよびGET /v1/crawl/{crawl_id}POST /v1/search