web-scraping은(는) 무엇을 하나요?
안티봇 우회, 콘텐츠 추출, 문서화되지 않은 API 및 포이즌 필 탐지를 포함한 웹 스크래핑 도구입니다. 웹사이트에서 콘텐츠를 추출하거나, 페이월을 처리하거나, 스크래핑 캐스케이드를 구현하거나, 소셜 미디어를 처리할 때 사용하세요. requests, trafilatura, stealth 모드의 Playwright, yt-dlp 및 instaloader 패턴을 다룹니다.
안티봇 우회, 콘텐츠 추출, 문서화되지 않은 API 및 포이즌 필(poison pill) 탐지를 포함한 웹 스크래핑 도구입니다. 웹사이트에서 콘텐츠를 추출하거나, 페이월을 처리하거나, 스크래핑 캐스케이드를 구현하거나, 소셜 미디어를 처리할 때 사용하세요. requests, trafilatura, stealth 모드의 Playwright, yt-dlp 및 instaloader 패턴을 다룹니다.
이 스킬은 웹 스크래핑 작업 시 안티봇 우회, 콘텐츠 추출, 문서화되지 않은 API 활용, 포이즌 필 탐지 등 고급 기능을 제공합니다. 주로 requests, trafilatura, Playwright(stealth 모드 포함), yt-dlp, instaloader와 같은 라이브러리를 활용하여 웹사이트와 소셜 미디어에서 안정적으로 데이터를 수집할 수 있습니다. 페이월이 있는 사이트나 봇 차단이 강한 사이트에서도 우회 기술을 적용하며, 스크래핑 캐스케이드(여러 전략을 순차적으로 시도)를 통해 최대한의 데이터 수집 성공률을 보장합니다. Claude Code, Cursor, Codex 등 주요 AI 에이전트 플랫폼에서 사용할 수 있으며, 개발자가 복잡한 웹 스크래핑 로직을 쉽게 구현할 수 있도록 설계되었습니다.
npx skills add https://github.com/jamditis/claude-skills-journalism/tree/main/skills/web-scrapingInstalled? Explore more 연구 & 데이터 분석 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →
안티봇 우회, 콘텐츠 추출, 문서화되지 않은 API 및 포이즌 필 탐지를 포함한 웹 스크래핑 도구입니다. 웹사이트에서 콘텐츠를 추출하거나, 페이월을 처리하거나, 스크래핑 캐스케이드를 구현하거나, 소셜 미디어를 처리할 때 사용하세요. requests, trafilatura, stealth 모드의 Playwright, yt-dlp 및 instaloader 패턴을 다룹니다.
This repo contains 2 individual skills — each has its own dedicated page.
Academic writing, research methodology, and scholarly communication workflows. Use when writing papers, literature reviews, grant proposals, conducting research, managing citations, preparing for peer review, choosing OA routes under Plan S / 2026 OSTP Nelson Memo, posting preprints, working with persistent identifiers (ORCID, DOI, ROR), assigning CRediT contributor roles, preregistering analyses on OSF / AsPredicted, or disclosing LLM use to journals and funders. Essential for researchers, graduate students, and academics across disciplines.
Legal methods for paywalled and geo-blocked content. Use for paywalls, academic papers, or open access via Unpaywall.
USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.
Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.
Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.
The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.
Agent skill repository discovered by 10x-chat research.
Review backend code for quality, security, maintainability, and best practices based on established checklist rules. Use when the user requests a review, analysis, or improvement of backend files (e.g., `.py`) under the `api/` directory. Do NOT use for frontend files (e.g., `.tsx`, `.ts`, `.js`). Supports pending-change review, code snippets review, and file-focused review.