Community연구 & 데이터 분석github.com

brightdata/scrape

Bright Data CLI (`bdata scrape`)를 사용하여 웹 콘텐츠를 깔끔한 마크다운/HTML/JSON 형식으로 스크래핑합니다. 사용자가 페이지를 가져오거나, URL 목록에서 콘텐츠를 추출하거나, 페이지가 매겨진 목록을 크롤링하려는 경우에 사용합니다. 지원되는 플랫폼(Amazon, LinkedIn, TikTok, Instagram, YouTube, Reddit 등)의 경우 `data-feeds`에 넘기고, URL을 먼저 찾아야 하는 경우 `search`에 넘깁니다. Bright Data CLI가 필요하며, 없는 경우 설치 및 로그인을 안내합니다.

scrape란 무엇인가요?

이 스킬은 Bright Data의 공식 CLI 도구인 `bdata scrape` 명령어를 활용하여 웹 페이지를 체계적으로 스크래핑하는 기능을 제공합니다. 사용자는 단일 페이지, URL 목록, 또는 페이지네이션이 포함된 리스트에서 데이터를 추출할 수 있으며, 출력 형식은 마크다운, HTML, JSON 중 선택 가능합니다. 특히 Amazon, LinkedIn, TikTok, Instagram, YouTube, Reddit과 같은 주요 플랫폼의 경우 전용 `data-feeds` 스킬로 자동 전환하여 최적화된 데이터 수집을 지원하고, URL이 없는 상황에서는 `search` 스킬을 통해 먼저 URL을 발견하도록 안내하는 지능적인 라우팅을 수행합니다. 이 스킬을 사용하려면 Bright Data CLI가 사전에 설치 및 로그인되어 있어야 하며, 만약 CLI가 없는 경우 사용자에게 설치 및 로그인 과정을 능동적으로 안내합니다. 개발자나 AI 에이전트 사용자가 복잡한 웹 스크래핑 작업을 손쉽게 처리할 수 있도록 설계되었습니다.

지원 대상~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/brightdata/skills/tree/main/skills/scrape

Installed? Explore more 연구 & 데이터 분석 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

즐겨 사용하는 AI에게 물어보기

이 에이전트 스킬이 미리 로드된 새 채팅을 엽니다.

문서

scrape은(는) 무엇을 하나요?

Bright Data CLI (bdata scrape)를 사용하여 웹 콘텐츠를 깔끔한 마크다운/HTML/JSON 형식으로 스크래핑합니다. 사용자가 페이지를 가져오거나, URL 목록에서 콘텐츠를 추출하거나, 페이지가 매겨진 목록을 크롤링하려는 경우에 사용합니다. 지원되는 플랫폼(Amazon, LinkedIn, TikTok, Instagram, YouTube, Reddit 등)의 경우 data-feeds에 넘기고, URL을 먼저 찾아야 하는 경우 search에 넘깁니다. Bright Data CLI가 필요하며, 없는 경우 설치 및 로그인을 안내합니다.

Individual skills in this repo

This repo contains 3 individual skills — each has its own dedicated page.

brightdata/bright-data-best-practices

Build production-ready Bright Data integrations with best practices baked in. Reference documentation for developers using coding assistants (Claude Code, Cursor, etc.) to implement web scraping, search, browser automation, and structured data extraction. Covers Web Unlocker API, SERP API, Web Scraper API, and Browser API (Scraping Browser).

brightdata/brightdata-cli

Guide for using the Bright Data CLI (`brightdata` / `bdata`) to scrape websites, search the web, extract structured data from 40+ platforms, manage proxy zones, and check account budget. Use this skill whenever the user wants to scrape a URL, search Google/Bing/Yandex, extract data from Amazon/LinkedIn/Instagram/TikTok/YouTube/Reddit or any other platform, check their Bright Data balance or zones, or do anything involving web data collection from the terminal. Also trigger when the user mentions brightdata, bdata, web scraping CLI, SERP API, or wants to install Bright Data skills into their coding agent.

brightdata/seo-audit

When the user wants to audit, review, or diagnose SEO issues on their site. Uses live web data via the Bright Data CLI for accurate detection of JS-injected schema, hreflang, canonicals, and live SERP-based ranking checks. Also use when the user mentions "SEO audit," "technical SEO," "why am I not ranking," "SEO issues," "on-page SEO," "meta tags review," "SEO health check," "my traffic dropped," "lost rankings," "not showing up in Google," "site isn't ranking," "Google update hit me," "page speed," "core web vitals," "crawl errors," or "indexing issues." Use this even if the user just says something vague like "my SEO is bad" or "help with SEO" — start with an audit. For building pages at scale to target keywords, see programmatic-seo. For implementing structured data, see schema-markup. For AI search optimization, see ai-seo.

관련 스킬