Was macht just-scrape?
Suche, scrappe, crawle, extrahiere strukturierte Daten und überwache Webseiten über die ScrapeGraph AI CLI. Verwende dies, wenn der Benutzer nach einer Websuche, dem Scrapen einer Webseite, dem Abrufen von Inhalten von einer URL, der Extraktion von JSON von einer Website, dem Crawlen von Dokumentation oder Website-Abschnitten, der Überwachung einer Seite auf Änderungen, der Überprüfung des Anfrageverlaufs, der Überprüfung von ScrapeGraph-Guthaben oder der Validierung der API-Einrichtung fragt.
Verwendung
Stelle sicher, dass die ScrapeGraph AI CLI installiert und konfiguriert ist. Authentifiziere dich mit einem API-Schlüssel, der in der Umgebungsvariable SCRAPEGRAPH_API_KEY festgelegt ist.
Installation:
pip install scrapegraphai
Oder führe die CLI direkt über das installierte Paket aus:
sgai <befehl> [optionen]
Befehle
sgai search "suchbegriff"
Führe eine Websuche durch und erhalte Ergebnisse.
sgai scrape <url>
Scrappe den Inhalt einer Webseite.
sgai crawl <url>
Crawle eine gesamte Website oder einen Abschnitt.
sgai extract <url>
Extrahiere strukturierte Daten (JSON) von einer Website.
sgai monitor <url>
Überwache eine Webseite auf Änderungen.
sgai credits
Überprüfe dein verbleibendes ScrapeGraph-Guthaben.
sgai history
Zeige den Verlauf deiner Anfragen an.
Beispiele
# Suche nach etwas
sgai search "neueste KI Durchbrüche 2024"
# Scrappe eine einzelne Seite
sgai scrape https://example.com/docs
# Extrahiere JSON aus einer Seite
sgai extract https://example.com/product
Hinweise zur Fehlerbehebung
- Fehlender API-Schlüssel: Stelle sicher, dass
SCRAPEGRAPH_API_KEYgesetzt ist. - Zeitüberschreitungen: Bei großen Seiten kann es zu Zeitüberschreitungen kommen. Versuche es erneut oder verwende den crawl-Befehl für große Websites.
- Rate-Limits: Bei zu vielen Anfragen kann die API vorübergehend blockieren. Warte einige Minuten.