Community코딩 & 개발github.com

Scrape Do 자동화

Rube MCP(Composio)를 통해 Scrape Do 작업을 자동화합니다. 항상 현재 스키마를 검색하기 위해 먼저 도구를 검색하세요.

Scrape Do 자동화란 무엇인가요?

이 스킬은 Rube MCP와 Composio의 Scrape Do 툴킷을 활용하여 웹 스크래핑 작업을 자동화하는 방법을 제공합니다. Scrape Do의 강력한 웹 스크래핑 기능을 AI 에이전트가 직접 호출하고 실행할 수 있게 해주며, 동적 도구 스키마 검색을 통해 항상 최신 인터페이스로 작업할 수 있습니다. Rube MCP를 MCP 서버로 연결하고 Scrape Do 연결을 활성화하면, `RUBE_SEARCH_TOOLS`로 도구를 검색하고, `RUBE_MULTI_EXECUTE_TOOL`로 작업을 실행하는 간단한 워크플로우를 따릅니다. 특히 도구 스키마가 자주 변경될 수 있으므로, 작업 전 항상 최신 스키마를 확인하는 것이 중요하며, 연결 상태와 메모리 파라미터 전달 등 다양한 주의사항을 숙지해야 합니다. Cursor, Claude Code, Codex 등 Rube MCP를 지원하는 모든 플랫폼에서 사용 가능합니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/ComposioHQ/awesome-claude-skills/tree/master/composio-skills/scrape-do-automation

Installed? Explore more 코딩 & 개발 skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

Rube MCP를 통한 Scrape Do 자동화

Composio의 Scrape Do 툴킷을 Rube MCP를 통해 자동화합니다.

툴킷 문서: composio.dev/toolkits/scrape_do

사전 요구 사항

  • Rube MCP가 연결되어 있어야 함 (RUBE_SEARCH_TOOLS 사용 가능)
  • RUBE_MANAGE_CONNECTIONS를 통해 scrape_do 툴킷으로 활성화된 Scrape Do 연결이 필요함
  • 항상 먼저 RUBE_SEARCH_TOOLS를 호출하여 현재 도구 스키마를 확인해야 함

설정

Rube MCP 가져오기: 클라이언트 구성에 MCP 서버로 https://rube.app/mcp를 추가하세요. API 키가 필요 없습니다. 엔드포인트만 추가하면 작동합니다.

  1. RUBE_SEARCH_TOOLS가 응답하는지 확인하여 Rube MCP가 사용 가능한지 확인하세요.
  2. RUBE_MANAGE_CONNECTIONS를 scrape_do 툴킷으로 호출하세요.
  3. 연결 상태가 ACTIVE가 아니면 반환된 인증 링크를 따라 설정을 완료하세요.
  4. 워크플로우를 실행하기 전에 연결 상태가 ACTIVE인지 확인하세요.

도구 검색

워크플로우를 실행하기 전에 항상 사용 가능한 도구를 검색하세요:

RUBE_SEARCH_TOOLS
queries: [{use_case: "Scrape Do 작업", known_fields: ""}]
session: {generate_id: true}

이렇게 하면 사용 가능한 도구 슬러그, 입력 스키마, 권장 실행 계획 및 알려진 문제점이 반환됩니다.

핵심 워크플로우 패턴

1단계: 사용 가능한 도구 검색

RUBE_SEARCH_TOOLS
queries: [{use_case: "특정 Scrape Do 작업"}]
session: {id: "기존_세션_ID"}

2단계: 연결 확인

RUBE_MANAGE_CONNECTIONS
toolkits: ["scrape_do"]
session_id: "귀하의_세션_ID"

3단계: 도구 실행

RUBE_MULTI_EXECUTE_TOOL
tools: [{
  tool_slug: "검색_결과의_도구_슬러그",
  arguments: {/* 검색 결과에서 가져온 스키마 준수 인수 */}
}]
memory: {}
session_id: "귀하의_세션_ID"

알려진 문제점

  • 항상 먼저 검색하세요: 도구 스키마는 변경됩니다. RUBE_SEARCH_TOOLS를 호출하지 않고 도구 슬러그나 인수를 하드코딩하지 마세요.
  • 연결 확인: 도구를 실행하기 전에 RUBE_MANAGE_CONNECTIONS가 ACTIVE 상태를 표시하는지 확인하세요.
  • 스키마 준수: 검색 결과의 정확한 필드 이름과 유형을 사용하세요.
  • 메모리 매개변수: RUBE_MULTI_EXECUTE_TOOL 호출 시 항상 memory를 포함하세요. 비어 있어도 ({}) 괜찮습니다.
  • 세션 재사용: 워크플로우 내에서 세션 ID를 재사용하세요. 새 워크플로우의 경우 새 ID를 생성하세요.
  • 페이지네이션: 응답에서 페이지네이션 토큰을 확인하고 완료될 때까지 계속 가져오세요.

빠른 참조

작업방법
도구 찾기Scrape Do 관련 사용 사례와 함께 RUBE_SEARCH_TOOLS
연결RUBE_MANAGE_CONNECTIONS를 scrape_do 툴킷으로 호출
실행검색된 도구 슬러그와 함께 RUBE_MULTI_EXECUTE_TOOL
대량 작업RUBE_REMOTE_WORKBENCH와 함께 run_composio_tool() 사용
전체 스키마schemaRef가 있는 도구의 경우 RUBE_GET_TOOL_SCHEMAS

Composio 제공

Individual skills in this repo

This repo contains 20 individual skills — each has its own dedicated page.

ably-automation

Automate Ably tasks via Rube MCP (Composio). Always search tools first for current schemas.

abstract-automation

Automate Abstract tasks via Rube MCP (Composio). Always search tools first for current schemas.

abuselpdb-automation

Automate Abuselpdb tasks via Rube MCP (Composio). Always search tools first for current schemas.

abyssale-automation

Automate Abyssale tasks via Rube MCP (Composio). Always search tools first for current schemas.

accelo-automation

Automate Accelo tasks via Rube MCP (Composio). Always search tools first for current schemas.

accredible-certificates-automation

Automate Accredible Certificates tasks via Rube MCP (Composio). Always search tools first for current schemas.

acculynx-automation

Automate Acculynx tasks via Rube MCP (Composio). Always search tools first for current schemas.

active-campaign-automation

Automate ActiveCampaign tasks via Rube MCP (Composio). Always search tools first for current schemas.

addresszen-automation

Automate Addresszen tasks via Rube MCP (Composio). Always search tools first for current schemas.

adobe-automation

Automate Adobe tasks via Rube MCP (Composio). Always search tools first for current schemas.

adrapid-automation

Automate Adrapid tasks via Rube MCP (Composio). Always search tools first for current schemas.

adyntel-automation

Automate Adyntel tasks via Rube MCP (Composio). Always search tools first for current schemas.

aeroleads-automation

Automate Aeroleads tasks via Rube MCP (Composio). Always search tools first for current schemas.

aero-workflow-automation

Automate Aero Workflow tasks via Rube MCP (Composio). Always search tools first for current schemas.

affinda-automation

Automate Affinda tasks via Rube MCP (Composio). Always search tools first for current schemas.

affinity-automation

Automate Affinity tasks via Rube MCP (Composio). Always search tools first for current schemas.

agencyzoom-automation

Automate Agencyzoom tasks via Rube MCP (Composio). Always search tools first for current schemas.

agent-mail-automation

Automate Agent Mail tasks via Rube MCP (Composio). Always search tools first for current schemas.

agentql-automation

Automate Agentql tasks via Rube MCP (Composio). Always search tools first for current schemas.

agenty-automation

Automate Agenty tasks via Rube MCP (Composio). Always search tools first for current schemas.

관련 스킬