CommunityCodierung & Entwicklunggithub.com

ComposioHQ/scrapfly-automation

Automatisieren Sie Scrapfly-Aufgaben über Rube MCP (Composio). Durchsuchen Sie immer zuerst die Tools nach aktuellen Schemata.

Was ist scrapfly-automation?

Diese Fähigkeit ermöglicht die Automatisierung von Scrapfly-Operationen über das Composio Scrapfly-Toolkit mittels Rube MCP. Sie ist ideal für Entwickler und KI-Agenten, die Web-Scraping-Aufgaben wie das Extrahieren von HTML, Screenshots oder strukturierten Daten von Webseiten ausführen möchten. Die Fähigkeit unterstützt Plattformen wie Claude Code, Cursor und Codex, die Rube MCP als MCP-Server integrieren können. Der Workflow besteht aus drei Schritten: Zuerst werden über RUBE_SEARCH_TOOLS die aktuellen Tool-Schemata abgerufen, dann wird die Verbindung zu Scrapfly über RUBE_MANAGE_CONNECTIONS geprüft und schließlich werden die gewünschten Tools über RUBE_MULTI_EXECUTE_TOOL ausgeführt. Wichtig ist, dass immer die aktuellen Schemata verwendet werden, da sich diese ändern können – hartcodierte Tool-Slugs oder Parameter sind nicht zulässig. Die Fähigkeit enthält zudem bekannte Fallstricke wie die Notwendigkeit der Session-Wiederverwendung und die Berücksichtigung von Paginierung.

Funktioniert mit~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ComposioHQ/awesome-codex-skills/tree/main/composio-skills/scrapfly-automation

Installed? Explore more Codierung & Entwicklung skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

In Ihrer bevorzugten KI fragen

Öffnet einen neuen Chat, in dem dieser Agent-Skill bereits geladen ist.

Dokumentation

Scrapfly-Automatisierung über Rube MCP

Automatisieren Sie Scrapfly-Operationen über das Composio Scrapfly-Toolkit mittels Rube MCP.

Toolkit-Dokumentation: composio.dev/toolkits/scrapfly

Voraussetzungen

  • Rube MCP muss verbunden sein (RUBE_SEARCH_TOOLS verfügbar)
  • Aktive Scrapfly-Verbindung über RUBE_MANAGE_CONNECTIONS mit Toolkit scrapfly
  • Rufen Sie immer zuerst RUBE_SEARCH_TOOLS auf, um die aktuellen Tool-Schemata zu erhalten

Einrichtung

Rube MCP abrufen: Fügen Sie https://rube.app/mcp als MCP-Server in Ihrer Client-Konfiguration hinzu. Keine API-Schlüssel erforderlich – fügen Sie einfach den Endpunkt hinzu und es funktioniert.

  1. Überprüfen Sie, ob Rube MCP verfügbar ist, indem Sie bestätigen, dass RUBE_SEARCH_TOOLS antwortet
  2. Rufen Sie RUBE_MANAGE_CONNECTIONS mit dem Toolkit scrapfly auf
  3. Falls die Verbindung nicht AKTIV ist, folgen Sie dem zurückgegebenen Authentifizierungslink, um die Einrichtung abzuschließen
  4. Bestätigen Sie, dass der Verbindungsstatus AKTIV anzeigt, bevor Sie Workflows ausführen

Tool-Erkennung

Entdecken Sie verfügbare Tools immer vor der Ausführung von Workflows:

RUBE_SEARCH_TOOLS
queries: [{use_case: "Scrapfly-Operationen", known_fields: ""}]
session: {generate_id: true}

Dies gibt verfügbare Tool-Slugs, Eingabeschemata, empfohlene Ausführungspläne und bekannte Fallstricke zurück.

Kern-Workflow-Muster

Schritt 1: Verfügbare Tools entdecken

RUBE_SEARCH_TOOLS
queries: [{use_case: "Ihre spezifische Scrapfly-Aufgabe"}]
session: {id: "vorhandene_session_id"}

Schritt 2: Verbindung prüfen

RUBE_MANAGE_CONNECTIONS
toolkits: ["scrapfly"]
session_id: "ihre_session_id"

Schritt 3: Tools ausführen

RUBE_MULTI_EXECUTE_TOOL
tools: [{
  tool_slug: "TOOL_SLUG_AUS_SUCHE",
  arguments: {/* schema-konforme Argumente aus Suchergebnissen */}
}]
memory: {}
session_id: "ihre_session_id"

Bekannte Fallstricke

  • Immer zuerst suchen: Tool-Schemata ändern sich. Härten Sie niemals Tool-Slugs oder Argumente fest, ohne RUBE_SEARCH_TOOLS aufzurufen
  • Verbindung prüfen: Stellen Sie sicher, dass RUBE_MANAGE_CONNECTIONS den Status AKTIV anzeigt, bevor Sie Tools ausführen
  • Schema-Konformität: Verwenden Sie die exakten Feldnamen und Typen aus den Suchergebnissen
  • Memory-Parameter: Geben Sie in RUBE_MULTI_EXECUTE_TOOL-Aufrufen immer memory an, auch wenn es leer ist ({})
  • Session-Wiederverwendung: Verwenden Sie Session-IDs innerhalb eines Workflows wieder. Generieren Sie neue für neue Workflows
  • Paginierung: Prüfen Sie Antworten auf Paginierungs-Token und setzen Sie das Abrufen fort, bis alles vollständig ist

Kurzreferenz

OperationAnsatz
Tools findenRUBE_SEARCH_TOOLS mit Scrapfly-spezifischem Anwendungsfall
VerbindenRUBE_MANAGE_CONNECTIONS mit Toolkit scrapfly
AusführenRUBE_MULTI_EXECUTE_TOOL mit entdeckten Tool-Slugs
MassenvorgängeRUBE_REMOTE_WORKBENCH mit run_composio_tool()
Vollständiges SchemaRUBE_GET_TOOL_SCHEMAS für Tools mit schemaRef

Bereitgestellt von Composio

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ComposioHQ/-21risk-automation

Automate 21risk tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/-2chat-automation

Automate 2chat tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/ably-automation

Automate Ably tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/abstract-automation

Automate Abstract tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/abuselpdb-automation

Automate Abuselpdb tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/abyssale-automation

Automate Abyssale tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/accelo-automation

Automate Accelo tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/accredible-certificates-automation

Automate Accredible Certificates tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/acculynx-automation

Automate Acculynx tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/active-campaign-automation

Automate ActiveCampaign tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/addresszen-automation

Automate Addresszen tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/adobe-automation

Automate Adobe tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/adrapid-automation

Automate Adrapid tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/adyntel-automation

Automate Adyntel tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/aeroleads-automation

Automate Aeroleads tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/aero-workflow-automation

Automate Aero Workflow tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/affinda-automation

Automate Affinda tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/affinity-automation

Automate Affinity tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/agencyzoom-automation

Automate Agencyzoom tasks via Rube MCP (Composio). Always search tools first for current schemas.

ComposioHQ/agent-deep-links

Build, validate, and troubleshoot deep links for Codex, Cursor, VS Code, Visual Studio, and similar tools. Use when users ask for clickable links (especially in Slack) that open threads, files, folders, or app settings.

Verwandte Skills