xcrawl-api/xcrawl-skills

Habilidades XCrawl

Definições reutilizáveis de habilidades XCrawl para runtimes multiagente, focadas em fluxos de trabalho de dados web com ênfase em API. Repositório canônico: https://github.com/xcrawl-api/xcrawl-skills

Inglês | 中文

O que é XCrawl

XCrawl é um produto de infraestrutura de dados web para busca, scraping, mapeamento de URLs e rastreamento de sites. Este repositório fornece definições de habilidades orientadas à produção que ajudam agentes a chamar as APIs XCrawl de forma consistente.

O que este repositório oferece

• Habilidades prontas para uso em fluxos de trabalho comuns do XCrawl
• Instruções orientadas a API com documentação de parâmetros de requisição/resposta
• Exemplos em cURL e Node adequados para execução em runtime
• Um contrato consistente para orquestração multiagente

Catálogo de Habilidades

• xcrawl: Habilidade padrão de entrada do XCrawl para consulta direta e extração de URL única
• xcrawl-scrape: Extração de URL única e fluxos de trabalho de dados estruturados
• xcrawl-map: Descoberta de URLs de sites e fluxos de trabalho de planejamento de escopo
• xcrawl-crawl: Rastreamento em massa de sites e manipulação de resultados assíncronos
• xcrawl-search: Descoberta baseada em consulta com controles de idioma/localização

Início Rápido

1. Pré-requisitos

• Uma chave de API XCrawl
• Registre-se em https://dash.xcrawl.com/ e ative o plano gratuito de 1000 créditos
• Binários de runtime: curl e node
• Acesso a este repositório

2. Configure a Chave de API Local

Crie o arquivo de configuração local:

Caminho: ~/.xcrawl/config.json

{
  "XCRAWL_API_KEY": "<sua_chave_api>"
}

As habilidades neste repositório foram projetadas para ler XCRAWL_API_KEY deste arquivo local.

3. Escolha uma Habilidade

Abra um dos seguintes:

• skills/xcrawl/SKILL.md
• skills/xcrawl-scrape/SKILL.md
• skills/xcrawl-map/SKILL.md
• skills/xcrawl-crawl/SKILL.md
• skills/xcrawl-search/SKILL.md

Cada habilidade inclui:

• Cenários de aplicação
• Parâmetros de requisição
• Parâmetros de resposta
• Exemplos em cURL / Node

4. Execute as Requisições

Use os exemplos em cada SKILL.md diretamente e, em seguida, adapte os payloads de requisição para seu cenário de negócios.

Exemplos de Intenções do Usuário

• "Faça scraping desta página no modo síncrono e retorne markdown + links."
• "Mapeie apenas URLs /docs/ sob este domínio com um limite de 2000."
• "Inicie um rastreamento limitado (profundidade 2, limite 100) e monitore até a conclusão."
• "Pesquise em inglês americano e retorne os 20 principais resultados para esta consulta."

Contrato entre Agentes

Cada habilidade pode ser executada por meio de uma camada adaptadora de runtime.

• Normalização de entrada: goal, inputs, constraints, credentials_ref, runtime_context
• Normalização de saída: status, request_payload, raw_response ou par assíncrono, task_ids, error

O comportamento padrão é passagem bruta: retornar os corpos de resposta da API upstream como estão.

Convenções Compartilhadas do XCrawl

• URL base: https://run.xcrawl.com
• Arquivo de configuração local: ~/.xcrawl/config.json
• Campo de chave de API no arquivo de configuração local: XCRAWL_API_KEY
• Cabeçalho de autenticação: Authorization: Bearer <XCRAWL_API_KEY>
• Endpoints principais:
  • POST /v1/scrape e GET /v1/scrape/{scrape_id}
  • POST /v1/map
  • POST /v1/crawl e GET /v1/crawl/{crawl_id}
  • POST /v1/search

Suporte

• Página inicial do XCrawl
• Documentação do XCrawl