Rube MCP를 통한 Webscraping AI 자동화
Composio의 Webscraping AI 툴킷을 Rube MCP를 통해 자동화합니다.
툴킷 문서: composio.dev/toolkits/webscraping_ai
사전 요구 사항
- Rube MCP가 연결되어 있어야 합니다 (
RUBE_SEARCH_TOOLS사용 가능) RUBE_MANAGE_CONNECTIONS를 통해webscraping_ai툴킷으로 활성화된 Webscraping AI 연결이 필요합니다- 항상 먼저
RUBE_SEARCH_TOOLS를 호출하여 최신 도구 스키마를 확인하세요
설정
Rube MCP 가져오기: 클라이언트 구성에 MCP 서버로 https://rube.app/mcp를 추가하세요. API 키가 필요하지 않습니다. 엔드포인트만 추가하면 작동합니다.
RUBE_SEARCH_TOOLS가 응답하는지 확인하여 Rube MCP가 사용 가능한지 확인합니다RUBE_MANAGE_CONNECTIONS를webscraping_ai툴킷으로 호출합니다- 연결이 ACTIVE 상태가 아니라면 반환된 인증 링크를 따라 설정을 완료합니다
- 워크플로를 실행하기 전에 연결 상태가 ACTIVE인지 확인합니다
도구 검색
워크플로를 실행하기 전에 항상 사용 가능한 도구를 검색하세요:
RUBE_SEARCH_TOOLS
queries: [{use_case: "Webscraping AI 작업", known_fields: ""}]
session: {generate_id: true}
이 명령은 사용 가능한 도구 슬러그, 입력 스키마, 권장 실행 계획 및 알려진 문제점을 반환합니다.
핵심 워크플로 패턴
1단계: 사용 가능한 도구 검색
RUBE_SEARCH_TOOLS
queries: [{use_case: "특정 Webscraping AI 작업"}]
session: {id: "기존 세션 ID"}
2단계: 연결 확인
RUBE_MANAGE_CONNECTIONS
toolkits: ["webscraping_ai"]
session_id: "세션 ID"
3단계: 도구 실행
RUBE_MULTI_EXECUTE_TOOL
tools: [{
tool_slug: "검색 결과의 TOOL_SLUG",
arguments: {/* 검색 결과와 호환되는 스키마 준수 인자 */}
}]
memory: {}
session_id: "세션 ID"
알려진 문제점
- 항상 먼저 검색하세요: 도구 스키마는 변경됩니다.
RUBE_SEARCH_TOOLS를 호출하지 않고 도구 슬러그나 인자를 하드코딩하지 마세요 - 연결 확인: 도구를 실행하기 전에
RUBE_MANAGE_CONNECTIONS가 ACTIVE 상태인지 확인하세요 - 스키마 준수: 검색 결과의 정확한 필드 이름과 유형을 사용하세요
- 메모리 파라미터:
RUBE_MULTI_EXECUTE_TOOL호출에 항상memory를 포함하세요. 비어 있더라도 ({}) 포함해야 합니다 - 세션 재사용: 워크플로 내에서는 세션 ID를 재사용하세요. 새 워크플로에는 새 ID를 생성합니다
- 페이지네이션: 응답에서 페이지네이션 토큰을 확인하고 완료될 때까지 계속 가져오세요
빠른 참조
| 작업 | 방법 |
|---|---|
| 도구 찾기 | Webscraping AI 관련 사용 사례로 RUBE_SEARCH_TOOLS 호출 |
| 연결 | 툴킷 webscraping_ai로 RUBE_MANAGE_CONNECTIONS 호출 |
| 실행 | 발견된 도구 슬러그로 RUBE_MULTI_EXECUTE_TOOL 호출 |
| 대량 작업 | run_composio_tool()과 함께 RUBE_REMOTE_WORKBENCH 사용 |
| 전체 스키마 | schemaRef가 있는 도구에 대해 RUBE_GET_TOOL_SCHEMAS 호출 |
Composio 제공