xcrawl-api/xcrawl-skills

XCrawl Skills

Wiederverwendbare XCrawl-Skill-Definitionen für Multi-Agent-Laufzeiten, fokussiert auf API-zentrierte Webdaten-Workflows. Canonical-Repository: https://github.com/xcrawl-api/xcrawl-skills

Deutsch | English | 中文

Was ist XCrawl

XCrawl ist ein Webdaten-Infrastrukturprodukt für Suche, Scraping, URL-Mapping und Site-Crawling. Dieses Repository stellt produktionsorientierte Skill-Definitionen bereit, die es Agenten ermöglichen, XCrawl-APIs konsistent aufzurufen.

Was dieses Repository bietet

• Fertig einsetzbare Skills für gängige XCrawl-Workflows
• API-orientierte Anweisungen mit Dokumentation der Anfrage-/Antwortparameter
• cURL- und Node-Beispiele, die für die Laufzeitausführung geeignet sind
• Ein konsistenter Vertrag für die Multi-Agent-Orchestrierung

Skill-Katalog

• xcrawl: Standard-XCrawl-Einstiegsskill für direkte Abfragen und Einzel-URL-Extraktion
• xcrawl-scrape: Einzel-URL-Extraktion und strukturierte Daten-Workflows
• xcrawl-map: Site-URL-Erkennung und Umfangsplanung-Workflows
• xcrawl-crawl: Bulk-Site-Crawling und asynchrone Ergebnisverarbeitung-Workflows
• xcrawl-search: Abfragebasierte Erkennung mit Orts-/Sprachsteuerung

Schnellstart

1. Voraussetzungen

• Ein XCrawl-API-Schlüssel
• Registrieren unter https://dash.xcrawl.com/ und den kostenlosen 1000 Credits-Tarif aktivieren
• Laufzeit-Binärdateien: curl und node
• Zugriff auf dieses Repository

2. Lokalen API-Schlüssel konfigurieren

Lokale Konfigurationsdatei erstellen:

Pfad: ~/.xcrawl/config.json

{
  "XCRAWL_API_KEY": "<ihr_api_schluessel>"
}

Skills in diesem Repository sind so konzipiert, dass sie XCRAWL_API_KEY aus dieser lokalen Datei lesen.

3. Einen Skill auswählen

Öffnen Sie eine der folgenden Dateien:

• skills/xcrawl/SKILL.md
• skills/xcrawl-scrape/SKILL.md
• skills/xcrawl-map/SKILL.md
• skills/xcrawl-crawl/SKILL.md
• skills/xcrawl-search/SKILL.md

Jeder Skill enthält:

• Anwendungsszenarien
• Anforderungsparameter
• Antwortparameter
• cURL / Node-Beispiele

4. Anfragen ausführen

Verwenden Sie die Beispiele in jeder SKILL.md direkt und passen Sie dann die Anfrage-Payloads an Ihr Geschäftsszenario an.

Beispielhafte Benutzerabsichten

• „Scrape diese Seite im synchronen Modus und gib Markdown + Links zurück.“
• „Mappe nur /docs/-URLs unter dieser Domain mit einem Limit von 2000.“
• „Starte ein begrenztes Crawling (Tiefe 2, Limit 100) und warte, bis es abgeschlossen ist.“
• „Suche auf US-Englisch und gib die Top 20 Ergebnisse für diese Abfrage zurück.“

Agentenübergreifender Vertrag

Jeder Skill kann über eine Laufzeit-Adapter-Schicht ausgeführt werden.

• Eingabenormalisierung: goal, inputs, constraints, credentials_ref, runtime_context
• Ausgabenormalisierung: status, request_payload, raw_response oder async-Paar, task_ids, error

Standardverhalten ist rohe Durchleitung: Antwortkörper der übergeordneten API werden unverändert zurückgegeben.

Gemeinsame XCrawl-Konventionen

• Basis-URL: https://run.xcrawl.com
• Lokale Konfigurationsdatei: ~/.xcrawl/config.json
• API-Schlüsselfeld in der lokalen Konfiguration: XCRAWL_API_KEY
• Auth-Header: Authorization: Bearer <XCRAWL_API_KEY>
• Hauptendpunkte:
  • POST /v1/scrape und GET /v1/scrape/{scrape_id}
  • POST /v1/map
  • POST /v1/crawl und GET /v1/crawl/{crawl_id}
  • POST /v1/search

Support

• XCrawl Homepage
• XCrawl Dokumentation