Rube MCPによるWebスクレイピングAI自動化
ComposioのWebスクレイピングAIツールキットを、Rube MCP経由で自動化します。
ツールキットドキュメント: composio.dev/toolkits/webscraping_ai
前提条件
- Rube MCPが接続済みであること（
RUBE_SEARCH_TOOLSが利用可能） RUBE_MANAGE_CONNECTIONSを使用し、ツールキットwebscraping_aiでアクティブなWebスクレイピングAI接続が確立されていること- 常に最初に
RUBE_SEARCH_TOOLSを呼び出し、現在のツールスキーマを取得すること
セットアップ
Rube MCPの入手: クライアント設定のMCPサーバーとしてhttps://rube.app/mcpを追加します。APIキーは不要で、エンドポイントを追加するだけで利用可能です。
RUBE_SEARCH_TOOLSが応答することを確認し、Rube MCPが利用可能であることを確認する- ツールキット
webscraping_aiを指定してRUBE_MANAGE_CONNECTIONSを呼び出す - 接続がACTIVEでない場合は、返された認証リンクに従ってセットアップを完了する
- ワークフローを実行する前に、接続ステータスがACTIVEであることを確認する
ツール発見
ワークフローを実行する前に、常に利用可能なツールを発見してください。
RUBE_SEARCH_TOOLS
queries: [{use_case: "Webscraping AI operations", known_fields: ""}]
session: {generate_id: true}
これにより、利用可能なツールスラッグ、入力スキーマ、推奨実行計画、既知の落とし穴が返されます。
コアワークフローパターン
ステップ1: 利用可能なツールを発見
RUBE_SEARCH_TOOLS
queries: [{use_case: "your specific Webscraping AI task"}]
session: {id: "existing_session_id"}
ステップ2: 接続を確認
RUBE_MANAGE_CONNECTIONS
toolkits: ["webscraping_ai"]
session_id: "your_session_id"
ステップ3: ツールを実行
RUBE_MULTI_EXECUTE_TOOL
tools: [{
tool_slug: "TOOL_SLUG_FROM_SEARCH",
arguments: {/* 検索結果から取得したスキーマ準拠の引数 */}
}]
memory: {}
session_id: "your_session_id"
既知の落とし穴
- 常に最初に検索: ツールスキーマは変更されます。
RUBE_SEARCH_TOOLSを呼び出さずにツールスラッグや引数をハードコードしないでください。 - 接続を確認: ツールを実行する前に、
RUBE_MANAGE_CONNECTIONSでACTIVEステータスであることを確認してください。 - スキーマ準拠: 検索結果から得られた正確なフィールド名と型を使用してください。
- メモリパラメータ:
RUBE_MULTI_EXECUTE_TOOLの呼び出しでは、空の場合（{}）でも常にmemoryを含めてください。 - セッション再利用: ワークフロー内ではセッションIDを再利用してください。新しいワークフローには新しいIDを生成してください。
- ページネーション: レスポンスにページネーショントークンがある場合は、すべてのデータを取得し終えるまで続けてフェッチしてください。
クイックリファレンス
| 操作 | 方法 |
|---|---|
| ツールを探す | WebスクレイピングAI固有のユースケースを指定してRUBE_SEARCH_TOOLS |
| 接続 | ツールキットwebscraping_aiを指定してRUBE_MANAGE_CONNECTIONS |
| 実行 | 発見したツールスラッグを指定してRUBE_MULTI_EXECUTE_TOOL |
| 一括操作 | run_composio_tool()を使用してRUBE_REMOTE_WORKBENCH |
| 完全スキーマ | schemaRefを持つツールに対してRUBE_GET_TOOL_SCHEMAS |
Powered by Composio