amienbou121/crawl4ai-mcp-server

crawl4ai-mcp-server은(는) 무엇을 하나요?

🕷️ AI 에이전트가 웹을 손쉽게 스크래핑하고 크롤링할 수 있도록 하는 경량 Model Context Protocol 서버입니다. 워크플로우에 완벽하게 통합됩니다.

개요

crawl4ai-mcp-server는 MCP(Model Context Protocol)를 구현한 서버로, AI 에이전트가 웹 페이지를 스크래핑하고 크롤링할 수 있는 기능을 제공합니다. 주요 기능은 다음과 같습니다:

• 웹 크롤링: crawl_web 도구를 사용하여 웹사이트를 크롤링하고 링크를 추출합니다.
• 페이지 스크래핑: scrape_page 도구를 사용하여 특정 URL의 콘텐츠를 스크래핑합니다.

설치

npm install crawl4ai-mcp-server

또는

yarn add crawl4ai-mcp-server

사용법

MCP 클라이언트 설정

claude_desktop_config.json 파일에 다음을 추가합니다:

{
  "mcpServers": {
    "crawl4ai": {
      "command": "npx",
      "args": ["-y", "crawl4ai-mcp-server"]
    }
  }
}

도구

서버는 다음 도구를 제공합니다:

crawl_web

웹사이트를 크롤링하고 링크를 추출합니다.

입력:

• url (문자열): 크롤링할 URL
• max_depth (숫자, 선택 사항): 최대 크롤링 깊이 (기본값: 1)
• max_pages (숫자, 선택 사항): 크롤링할 최대 페이지 수 (기본값: 10)

출력:

• 추출된 링크 목록

scrape_page

특정 URL의 콘텐츠를 스크래핑합니다.

입력:

• url (문자열): 스크래핑할 URL

출력:

• 페이지의 마크다운 형식 콘텐츠

예시

Claude Code에서 사용하기

라이선스

MIT