xcrawl-api/xcrawl-skills

Compétences XCrawl

Définitions réutilisables de compétences XCrawl pour environnements d'exécution multi-agents, axées sur les workflows de données web via API. Dépôt canonique : https://github.com/xcrawl-api/xcrawl-skills

English | 中文

Qu'est-ce que XCrawl ?

XCrawl est un produit d'infrastructure de données web pour la recherche, le scraping, le mappage d'URL et le crawling de sites. Ce dépôt fournit des définitions de compétences orientées production qui aident les agents à appeler les API XCrawl de manière cohérente.

Ce que ce dépôt fournit

• Des compétences prêtes à l'emploi pour les workflows XCrawl courants
• Des instructions orientées API avec documentation des paramètres de requête et de réponse
• Des exemples en cURL et Node adaptés à l'exécution dans un environnement d'exécution
• Un contrat cohérent pour l'orchestration multi-agents

Catalogue de compétences

• xcrawl : Compétence d'entrée XCrawl par défaut pour la recherche directe et l'extraction d'une seule URL
• xcrawl-scrape : Workflows d'extraction d'une seule URL et de données structurées
• xcrawl-map : Workflows de découverte d'URL de site et de planification de périmètre
• xcrawl-crawl : Workflows de crawling de site en masse et de gestion des résultats asynchrones
• xcrawl-search : Workflows de découverte basés sur des requêtes avec contrôles de localisation et de langue

Démarrage rapide

1. Prérequis

• Une clé API XCrawl
• Inscrivez-vous sur https://dash.xcrawl.com/ et activez le plan gratuit de 1000 crédits
• Binaires d'exécution : curl et node
• Accès à ce dépôt

2. Configurer la clé API locale

Créez le fichier de configuration local :

Chemin : ~/.xcrawl/config.json

{
  "XCRAWL_API_KEY": "<votre_clé_api>"
}

Les compétences de ce dépôt sont conçues pour lire XCRAWL_API_KEY à partir de ce fichier local.

3. Choisir une compétence

Ouvrez l'un des fichiers suivants :

• skills/xcrawl/SKILL.md
• skills/xcrawl-scrape/SKILL.md
• skills/xcrawl-map/SKILL.md
• skills/xcrawl-crawl/SKILL.md
• skills/xcrawl-search/SKILL.md

Chaque compétence comprend :

• Scénarios d'application
• Paramètres de requête
• Paramètres de réponse
• Exemples en cURL / Node

4. Exécuter les requêtes

Utilisez directement les exemples de chaque SKILL.md, puis adaptez les corps de requête à votre scénario métier.

Exemples d'intentions utilisateur

• "Scrape cette page en mode synchrone et retourne markdown + liens."
• "Mappe uniquement les URL /docs/ sous ce domaine avec une limite de 2000."
• "Lance un crawl limité (profondeur 2, limite 100) et interroge jusqu'à son achèvement."
• "Recherche en anglais américain et retourne les 20 premiers résultats pour cette requête."

Contrat inter-agents

Chaque compétence peut être exécutée via une couche d'adaptateur d'exécution.

• Normalisation d'entrée : goal, inputs, constraints, credentials_ref, runtime_context
• Normalisation de sortie : status, request_payload, raw_response ou paire asynchrone, task_ids, error

Le comportement par défaut est le passage direct brut : retourner les corps de réponse de l'API amont tels quels.

Conventions XCrawl partagées

• URL de base : https://run.xcrawl.com
• Fichier de configuration local : ~/.xcrawl/config.json
• Champ de clé API dans la configuration locale : XCRAWL_API_KEY
• En-tête d'authentification : Authorization: Bearer <XCRAWL_API_KEY>
• Points d'accès principaux :
  • POST /v1/scrape et GET /v1/scrape/{scrape_id}
  • POST /v1/map
  • POST /v1/crawl et GET /v1/crawl/{crawl_id}
  • POST /v1/search

Support

• Page d'accueil XCrawl
• Documentation XCrawl