xcrawl-api/xcrawl-skills

XCrawl 技能

为多智能体运行时提供的可复用 XCrawl 技能定义，专注于 API 优先的网页数据工作流。 规范仓库：https://github.com/xcrawl-api/xcrawl-skills

English | 中文

什么是 XCrawl

XCrawl 是一个网页数据基础设施产品，提供搜索、抓取、URL 映射和站点爬取功能。 本仓库提供生产级的技能定义，帮助智能体以一致的方式调用 XCrawl API。

本仓库提供的内容

• 针对常见 XCrawl 工作流的即用型技能
• 面向 API 的指令，包含请求/响应参数文档
• 适合运行时执行的 cURL 和 Node 示例
• 多智能体编排的一致合同

技能目录

• xcrawl：默认的 XCrawl 入口技能，用于直接查找和单 URL 提取
• xcrawl-scrape：单 URL 提取和结构化数据工作流
• xcrawl-map：站点 URL 发现与范围规划工作流
• xcrawl-crawl：批量站点爬取与异步结果处理工作流
• xcrawl-search：基于查询的发现，支持地点/语言控制

快速开始

1. 先决条件

• 一个 XCrawl API 密钥
• 在 https://dash.xcrawl.com/ 注册并激活免费的 1000 积分计划
• 运行时二进制文件：curl 和 node
• 可访问此仓库

2. 配置本地 API 密钥

创建本地配置文件：

路径：~/.xcrawl/config.json

{
  "XCRAWL_API_KEY": "<your_api_key>"
}

此仓库中的技能被设计为从此本地文件中读取 XCRAWL_API_KEY。

3. 选择技能

打开以下任一文件：

• skills/xcrawl/SKILL.md
• skills/xcrawl-scrape/SKILL.md
• skills/xcrawl-map/SKILL.md
• skills/xcrawl-crawl/SKILL.md
• skills/xcrawl-search/SKILL.md

每个技能都包含：

• 适用场景
• 请求参数
• 响应参数
• cURL / Node 示例

4. 运行请求

直接使用每个 SKILL.md 中的示例，然后根据你的业务场景调整请求负载。

示例用户意图

• "以同步模式抓取此页面，返回 Markdown 和链接。"
• "映射此域名下仅 /docs/ 的 URL，限制为 2000 个。"
• "启动一个有限爬取（深度 2，限制 100 个），并轮询直到完成。"
• "使用美国英语搜索，返回此查询的前 20 条结果。"

跨智能体合同

每个技能都可以通过运行时适配器层执行。

• 输入归一化：goal、inputs、constraints、credentials_ref、runtime_context
• 输出归一化：status、request_payload、raw_response 或异步对、task_ids、error

默认行为是原始透传：按原样返回上游 API 响应体。

共享的 XCrawl 约定

• 基础 URL：https://run.xcrawl.com
• 本地配置文件：~/.xcrawl/config.json
• 本地配置中的 API 密钥字段：XCRAWL_API_KEY
• 认证头：Authorization: Bearer <XCRAWL_API_KEY>
• 主要端点：
  • POST /v1/scrape 和 GET /v1/scrape/{scrape_id}
  • POST /v1/map
  • POST /v1/crawl 和 GET /v1/crawl/{crawl_id}
  • POST /v1/search

支持

• XCrawl 主页
• XCrawl 文档