xcrawl-api/xcrawl-skills

Habilidades XCrawl

Definiciones reutilizables de habilidades XCrawl para entornos de ejecución multi-agente, enfocadas en flujos de trabajo de datos web basados en API. Repositorio canónico: https://github.com/xcrawl-api/xcrawl-skills

English | 中文

Qué es XCrawl

XCrawl es un producto de infraestructura de datos web para búsqueda, scraping, mapeo de URLs y rastreo de sitios. Este repositorio proporciona definiciones de habilidades orientadas a producción que ayudan a los agentes a llamar a las APIs de XCrawl de manera consistente.

Qué Proporciona Este Repositorio

• Habilidades listas para usar para flujos de trabajo comunes de XCrawl
• Instrucciones orientadas a API con documentación de parámetros de solicitud/respuesta
• Ejemplos en cURL y Node.js adecuados para ejecución en tiempo real
• Un contrato consistente para orquestación multi-agente

Catálogo de Habilidades

• xcrawl: Habilidad de entrada predeterminada de XCrawl para búsqueda directa y extracción de una sola URL
• xcrawl-scrape: Extracción de una sola URL y flujos de trabajo de datos estructurados
• xcrawl-map: Descubrimiento de URLs de un sitio y flujos de trabajo de planificación de alcance
• xcrawl-crawl: Rastreo masivo de sitios y flujos de trabajo de manejo de resultados asíncronos
• xcrawl-search: Descubrimiento basado en consultas con controles de ubicación e idioma

Inicio Rápido

1. Requisitos Previos

• Una clave de API de XCrawl
• Regístrate en https://dash.xcrawl.com/ y activa el plan gratuito de 1000 créditos
• Binarios de ejecución: curl y node
• Acceso a este repositorio

2. Configurar la Clave de API Local

Crea archivo de configuración local:

Ruta: ~/.xcrawl/config.json

{
  "XCRAWL_API_KEY": "<tu_clave_api>"
}

Las habilidades en este repositorio están diseñadas para leer XCRAWL_API_KEY desde este archivo local.

3. Elegir una Habilidad

Abre uno de:

• skills/xcrawl/SKILL.md
• skills/xcrawl-scrape/SKILL.md
• skills/xcrawl-map/SKILL.md
• skills/xcrawl-crawl/SKILL.md
• skills/xcrawl-search/SKILL.md

Cada habilidad incluye:

• Escenarios aplicables
• Parámetros de solicitud
• Parámetros de respuesta
• Ejemplos en cURL / Node.js

4. Ejecutar Solicitudes

Usa los ejemplos en cada SKILL.md directamente, luego adapta los payloads de solicitud a tu escenario de negocio.

Ejemplos de Intenciones de Usuario

• "Extrae esta página en modo síncrono y devuelve markdown + enlaces."
• "Mapea solo las URLs /docs/ bajo este dominio con un límite de 2000."
• "Inicia un rastreo acotado (profundidad 2, límite 100) y espera hasta que se complete."
• "Busca en inglés de EE. UU. y devuelve los primeros 20 resultados para esta consulta."

Contrato entre Agentes

Cada habilidad puede ejecutarse a través de una capa adaptadora de ejecución.

• Normalización de entrada: goal, inputs, constraints, credentials_ref, runtime_context
• Normalización de salida: status, request_payload, raw_response o par asíncrono, task_ids, error

El comportamiento predeterminado es el paso directo sin procesar: devolver los cuerpos de respuesta de la API upstream tal cual.

Convenciones Compartidas de XCrawl

• URL base: https://run.xcrawl.com
• Archivo de configuración local: ~/.xcrawl/config.json
• Campo de clave de API en configuración local: XCRAWL_API_KEY
• Cabecera de autenticación: Authorization: Bearer <XCRAWL_API_KEY>
• Principales endpoints:
  • POST /v1/scrape y GET /v1/scrape/{scrape_id}
  • POST /v1/map
  • POST /v1/crawl y GET /v1/crawl/{crawl_id}
  • POST /v1/search

Soporte

• Página principal de XCrawl
• Documentación de XCrawl