firecrawl/firecrawl-knowledge-base

Was macht firecrawl-knowledge-base?

Erstellen Sie eine Wissensdatenbank aus Webinhalten mit Firecrawl. Nutzbar für lokale Referenzdokumente, RAG-fähige Chunks, Feintuning-Datensätze, Dokumentationsspiegel, Themenkorpora oder LLM-bereites Markdown, organisiert aus Webquellen.

Anwendung

1. Konfiguration

   • Legen Sie die Start-URL(s) fest, von denen gecrawlt werden soll.
   • Definieren Sie Crawl-Tiefe (maxDepth), ob externe Links gefolgt werden (crawlExternalLinks) und die maximale Seitenzahl (maxPages).
   • Optional: Geben Sie CSS-Selektoren an, um nur bestimmte Teile einer Seite zu extrahieren (selectors).

2. Ausführung

   • Führen Sie den Crawl mit dem Befehl firecrawl crawl aus.
   • Die Ergebnisse werden als Markdown-Dateien im angegebenen Ausgabeverzeichnis gespeichert (Standard: ./knowledge-base).

3. Ergebnis

   • Jede gecrawlte Seite wird als einzelne .md-Datei abgelegt.
   • Eine index.json-Datei wird erstellt, die Metadaten (URL, Titel, Beschreibung, Pfad zur Markdown-Datei) für jede Seite enthält.

Optionen

Parameter	Beschreibung	Standardwert
--urls	Komma-getrennte Liste von Start-URLs	Erforderlich
--maxDepth	Maximale Crawl-Tiefe	2
--maxPages	Maximale Anzahl zu crawlender Seiten	50
--externalLinks	Folgt externen Links (true/false)	false
--selectors	CSS-Selektoren für Seitenextraktion	body
--output	Ausgabeverzeichnis für die Wissensdatenbank	./knowledge-base

Beispiel

firecrawl crawl \
  --urls "https://docs.example.com,https://blog.example.com" \
  --maxDepth 3 \
  --maxPages 100 \
  --output ./my-docs

Voraussetzungen

• Firecrawl CLI muss installiert sein (npm install -g @firecrawl/cli oder Download von https://firecrawl.dev).
• Ein Firecrawl-API-Schlüssel (kostenlos unter https://firecrawl.dev erhältlich) muss als Umgebungsvariable FIRECRAWL_API_KEY gesetzt werden.

Weiterführende Informationen

• Firecrawl Dokumentation
• Probleme melden