ComposioHQ/Firecrawl-Automation

Firecrawl Automation – German

Führen Sie Firecrawl Web-Crawling und -Extraktion direkt von Claude Code aus aus. Scrapen Sie einzelne Seiten, crawlen Sie ganze Websites, extrahieren Sie strukturierte Daten mit KI, verarbeiten Sie URL-Listen im Batch und kartieren Sie Websitestrukturen, ohne Ihr Terminal zu verlassen.

Toolkit-Dokumentation: composio.dev/toolkits/firecrawl

---

Einrichtung

1. Fügen Sie den Composio MCP-Server zu Ihrer Konfiguration hinzu:

   https://rube.app/mcp
   

2. Verbinden Sie Ihr Firecrawl-Konto, wenn Sie dazu aufgefordert werden. Der Agent stellt einen Authentifizierungslink bereit.
3. Achten Sie auf den Guthabenverbrauch – schränken Sie Ihre Crawls eng ein und testen Sie zuerst mit kleinen URL-Sets, bevor Sie hochskalieren.

---

Kern-Workflows

1. Eine Einzelseite scrapen

Holen Sie Inhalte von einer URL in mehreren Formaten mit optionalen Browseraktionen für dynamische Seiten.

Tool: FIRECRAWL_SCRAPE

Wichtige Parameter:

• url (erforderlich) – vollständig qualifizierte URL zum Scrapen
• formats – Ausgabeformate: markdown (Standard), html, rawHtml, links, screenshot, json
• onlyMainContent (Standard true) – nur Hauptinhalt extrahieren, Navigation/Footer/Werbung ausschließen
• waitFor – Millisekunden warten auf JS-Rendering (Standard 0)
• timeout – maximale Wartezeit in ms (Standard 30000)
• actions – Browseraktionen vor dem Scrapen (klicken, schreiben, warten, drücken, scrollen)
• includeTags / excludeTags – Filter nach HTML-Tags
• jsonOptions – für strukturierte Extraktion mit schema und/oder prompt

Beispiel-Prompt: "Scrape den Hauptinhalt von https://example.com/pricing als Markdown"

---

2. Eine gesamte Website crawlen

Entdecken und scrapen Sie mehrere Seiten einer Website mit konfigurierbarer Tiefe, Pfadfiltern und Parallelität.

Tool: FIRECRAWL_CRAWL_V2

Wichtige Parameter:

• url (erforderlich) – Start-URL für den Crawl
• limit (Standard 10) – maximale Anzahl zu crawlender Seiten
• maxDiscoveryDepth – Tiefenbegrenzung ab der Startseite
• includePaths / excludePaths – Regex-Muster für URL-Pfade
• allowSubdomains – Subdomains einschließen (Standard false)
• crawlEntireDomain – Geschwister-/Eltern-Links folgen, nicht nur Kind-Links (Standard false)
• sitemap – include (Standard), skip oder only
• prompt – natürliche Sprache zur automatischen Konfiguration der Crawler-Einstellungen
• scrapeOptions_formats – Ausgabeformat für jede Seite
• scrapeOptions_onlyMainContent – Hauptinhalts-Extraktion pro Seite

Beispiel-Prompt: "Crawle den docs-Bereich von firecrawl.dev, max 50 Seiten, nur Pfade, die auf docs passen"

---

3. Strukturierte Daten extrahieren

Extrahiere strukturierte JSON-Daten von Webseiten mit KI, entweder mit einem Prompt in natürlicher Sprache oder einem JSON-Schema.

Tool: FIRECRAWL_EXTRACT

Wichtige Parameter:

• urls (erforderlich) – Array von URLs zur Extraktion (max. 10 in der Beta). Unterstützt Platzhalter wie https://example.com/blog/*
• prompt – Beschreibung in natürlicher Sprache, was extrahiert werden soll
• schema – JSON-Schema, das die gewünschte Ausgabestruktur definiert
• enable_web_search – Crawlen von Links außerhalb der anfänglichen Domains erlauben (Standard false)

Mindestens eines von prompt oder schema muss angegeben werden.

Prüfen Sie den Extraktionsstatus mit FIRECRAWL_EXTRACT_GET unter Verwendung der zurückgegebenen Job-id.

Beispiel-Prompt: "Extrahiere Firmenname, Preisstufen und Feature-Listen von https://example.com/pricing"

---

4. Mehrere URLs im Batch scrapen

Scrapen Sie viele URLs gleichzeitig mit gemeinsamer Konfiguration für effiziente Bulk-Datensammlung.

Tool: FIRECRAWL_BATCH_SCRAPE

Wichtige Parameter:

• urls (erforderlich) – Array von URLs zum Scrapen
• formats – Ausgabeformat für alle Seiten (Standard markdown)
• onlyMainContent (Standard true) – Hauptinhalts-Extraktion
• maxConcurrency – Grenze für paralleles Scrapen
• ignoreInvalidURLs (Standard true) – ungültige URLs überspringen, anstatt den Batch fehlschlagen zu lassen
• location – Geolokalisierungseinstellungen mit country-Code
• actions – Browseraktionen, die auf jede Seite angewendet werden
• blockAds (Standard true) – Werbung blockieren

Beispiel-Prompt: "Scrape diese 20 Produktseiten-URLs im Batch als Markdown mit Werbeblockierung"

---

5. Websitestruktur kartieren

Entdecken Sie alle URLs einer Website ausgehend von einer Start-URL, nützlich für die Planung von Crawls oder die Prüfung der Seitenstruktur.

Tool: FIRECRAWL_MAP_MULTIPLE_URLS_BASED_ON_OPTIONS

Wichtige Parameter:

• url (erforderlich) – Start-URL (muss https:// oder http:// sein)
• search – URL-Entdeckung auf bestimmte Seitentypen lenken
• limit (Standard 5000, max 100000) – maximale Anzahl zurückzugebender URLs
• includeSubdomains (Standard true) – Subdomains einschließen
• ignoreQueryParameters (Standard true) – URLs deduplizieren, die sich nur durch Query-Parameter unterscheiden
• sitemap – include, skip oder only

Beispiel-Prompt: "Kartiere alle URLs auf docs.example.com, mit Fokus auf API-Referenzseiten"

---

6. Crawl-Jobs überwachen und verwalten

Verfolgen Sie den Crawl-Fortschritt, rufen Sie Ergebnisse ab und brechen Sie außer Kontrolle geratene Jobs ab.

Tools: FIRECRAWL_CRAWL_GET, FIRECRAWL_GET_THE_STATUS_OF_A_CRAWL_JOB, FIRECRAWL_CANCEL_A_CRAWL_JOB

• FIRECRAWL_CRAWL_GET – Status, Fortschritt, verbrauchtes Guthaben und gecrawlte Seitendaten abrufen
• FIRECRAWL_CANCEL_A_CRAWL_JOB – einen aktiven oder in der Warteschlange befindlichen Crawl stoppen

Beide erfordern die id (UUID) des Crawl-Jobs, die beim Starten des Crawls zurückgegeben wurde.

Beispiel-Prompt: "Prüfe den Status des Crawl-Jobs 019b0806-b7a1-7652-94c1-e865b5d2e89a"

---

Bekannte Fallstricke

• Rate-Limiting: Firecrawl kann „Rate limit exceeded“-Fehler auslösen (429). Bevorzugen Sie FIRECRAWL_BATCH_SCRAPE gegenüber vielen einzelnen FIRECRAWL_SCRAPE-Aufrufen und implementieren Sie Backoff bei 429/5xx-Antworten.
• Guthabenverbrauch: FIRECRAWL_EXTRACT kann mit „Insufficient credits“ fehlschlagen. Schränken Sie die Extraktion eng ein und vermeiden Sie breite Homepage-URLs, die spärliche Felder liefern. Testen Sie zuerst mit kleinen URL-Sets.
• Verschachtelte Fehlerantworten: Fehler pro Seite können in response.data.code verschachtelt sein (z. B. SCRAPE_DNS_RESOLUTION_ERROR), selbst wenn der äußere API-Aufruf erfolgreich ist. Überprüfen Sie immer die inneren Status-/Fehlerfelder.
• JS-lastige Seiten: Nicht gerenderte Abrufe können wichtige Inhalte übersehen. Verwenden Sie waitFor (z. B. 1000-5000 ms) für dynamische Seiten oder konfigurieren Sie scrapeOptions_actions, um mit der Seite zu interagieren, bevor Sie scrapen.
• Präzision des Extraktionsschemas: Vage oder wechselnde Schemas/ Prompts erzeugen verrauschte, inkonsistente Ausgaben. Frieren Sie Ihr Schema ein und testen Sie es an einer kleinen Stichprobe, bevor Sie auf viele URLs hochskalieren.
• Crawl-Jobs sind asynchron: FIRECRAWL_CRAWL_V2 kehrt sofort mit einer Job-ID zurück. Verwenden Sie FIRECRAWL_CRAWL_GET, um auf Ergebnisse zu pollen. Brechen Sie feststeckende Crawls mit FIRECRAWL_CANCEL_A_CRAWL_JOB ab, um kein Guthaben zu verschwenden.
• Extract-Job-Polling: FIRECRAWL_EXTRACT ist ebenfalls asynchron für größere Jobs. Rufen Sie die endgültige Ausgabe mit FIRECRAWL_EXTRACT_GET ab.
• URL-Batching für Extract: Halten Sie Extract-URL-Batches klein (~10 URLs), um 429 Rate-Limit-Fehler zu vermeiden.
• Tief verschachtelte Antworten: Ergebnisse sind oft unter data.data oder tiefer verschachtelt. Überprüfen Sie die zurückgegebene Struktur, anstatt flache Schlüssel anzunehmen.

---

Kurzreferenz

Tool Slug	Beschreibung
FIRECRAWL_SCRAPE	Eine einzelne URL mit Format-/Aktionsoptionen scrapen
FIRECRAWL_CRAWL_V2	Eine Website mit Tiefen-/Pfadkontrolle crawlen
FIRECRAWL_EXTRACT	Strukturierte Daten mit KI-Prompt/Schema extrahieren
FIRECRAWL_BATCH_SCRAPE	Mehrere URLs gleichzeitig im Batch scrapen
FIRECRAWL_MAP_MULTIPLE_URLS_BASED_ON_OPTIONS	Alle URLs einer Website entdecken/kartieren
FIRECRAWL_CRAWL_GET	Crawl-Job-Status und -Ergebnisse abrufen
FIRECRAWL_GET_THE_STATUS_OF_A_CRAWL_JOB	Crawl-Job-Fortschritt prüfen
FIRECRAWL_CANCEL_A_CRAWL_JOB	Einen aktiven Crawl-Job abbrechen
FIRECRAWL_EXTRACT_GET	Extraktions-Job-Status und -Ergebnisse abrufen
FIRECRAWL_CRAWL_PARAMS_PREVIEW	Crawl-Parameter vor dem Starten in der Vorschau anzeigen
FIRECRAWL_SEARCH	Websuche + beste Ergebnisse scrapen

---

Powered by Composio