ComposioHQ/webscraping-ai-automation

Webscraping-AI-Automatisierung über Rube MCP

Automatisieren Sie Webscraping-AI-Operationen über das Webscraping-AI-Toolkit von Composio via Rube MCP.

Toolkit-Dokumentation: composio.dev/toolkits/webscraping_ai

Voraussetzungen

• Rube MCP muss verbunden sein (RUBE_SEARCH_TOOLS verfügbar)
• Aktive Webscraping-AI-Verbindung über RUBE_MANAGE_CONNECTIONS mit Toolkit webscraping_ai
• Rufen Sie immer zuerst RUBE_SEARCH_TOOLS auf, um aktuelle Tool-Schemas zu erhalten

Einrichtung

Rube MCP holen: Fügen Sie https://rube.app/mcp als MCP-Server in Ihrer Client-Konfiguration hinzu. Keine API-Schlüssel erforderlich – fügen Sie einfach den Endpunkt hinzu und es funktioniert.

1. Überprüfen Sie, ob Rube MCP verfügbar ist, indem Sie bestätigen, dass RUBE_SEARCH_TOOLS antwortet
2. Rufen Sie RUBE_MANAGE_CONNECTIONS mit Toolkit webscraping_ai auf
3. Wenn die Verbindung nicht AKTIV ist, folgen Sie dem zurückgegebenen Auth-Link, um die Einrichtung abzuschließen
4. Bestätigen Sie, dass der Verbindungsstatus AKTIV anzeigt, bevor Sie Workflows ausführen

Tool-Erkennung

Entdecken Sie immer verfügbare Tools, bevor Sie Workflows ausführen:

RUBE_SEARCH_TOOLS
queries: [{use_case: "Webscraping AI operations", known_fields: ""}]
session: {generate_id: true}

Dies gibt verfügbare Tool-Slugs, Eingabeschemas, empfohlene Ausführungspläne und bekannte Fallstricke zurück.

Kern-Workflow-Muster

Schritt 1: Verfügbare Tools entdecken

RUBE_SEARCH_TOOLS
queries: [{use_case: "Ihre spezifische Webscraping-AI-Aufgabe"}]
session: {id: "existing_session_id"}

Schritt 2: Verbindung prüfen

RUBE_MANAGE_CONNECTIONS
toolkits: ["webscraping_ai"]
session_id: "ihre_session_id"

Schritt 3: Tools ausführen

RUBE_MULTI_EXECUTE_TOOL
tools: [{
  tool_slug: "TOOL_SLUG_AUS_ERGEBNIS",
  arguments: {/* schema-konforme Argumente aus den Suchergebnissen */}
}]
memory: {}
session_id: "ihre_session_id"

Bekannte Fallstricke

• Immer zuerst suchen: Tool-Schemas ändern sich. Hardcodieren Sie niemals Tool-Slugs oder Argumente ohne Aufruf von RUBE_SEARCH_TOOLS
• Verbindung prüfen: Stellen Sie sicher, dass RUBE_MANAGE_CONNECTIONS den Status AKTIV anzeigt, bevor Sie Tools ausführen
• Schema-Konformität: Verwenden Sie exakte Feldnamen und -typen aus den Suchergebnissen
• Memory-Parameter: Fügen Sie bei RUBE_MULTI_EXECUTE_TOOL-Aufrufen immer memory hinzu, auch wenn es leer ist ({})
• Session-Wiederverwendung: Verwenden Sie Session-IDs innerhalb eines Workflows wieder. Generieren Sie neue für neue Workflows
• Seitennummerierung: Prüfen Sie Antworten auf Paginierungs-Token und setzen Sie den Abruf fort, bis alles vollständig ist

Kurzreferenz

Vorgang	Vorgehen
Tools finden	RUBE_SEARCH_TOOLS mit Webscraping-AI-spezifischem Anwendungsfall
Verbinden	RUBE_MANAGE_CONNECTIONS mit Toolkit webscraping_ai
Ausführen	RUBE_MULTI_EXECUTE_TOOL mit entdeckten Tool-Slugs
Massenvorgänge	RUBE_REMOTE_WORKBENCH mit run_composio_tool()
Vollständiges Schema	RUBE_GET_TOOL_SCHEMAS für Tools mit schemaRef

---

Bereitgestellt von Composio