Web scraping com bypass anti-bot, extração de conteúdo, APIs não documentadas e detecção de iscas de desinformação. Use ao extrair conteúdo de sites, lidar com paywalls, implementar cascatas de scraping ou processar mídias sociais. Abrange padrões de requests, trafilatura, Playwright com modo stealth, yt-dlp e instaloader.
Esta skill especializada em web scraping fornece um conjunto robusto de ferramentas e padrões para extrair conteúdo de sites modernos, contornando mecanismos antiparasitas, gerenciando paywalls e detectando conteúdo enganoso ('poison pills'). Ela é útil para desenvolvedores que precisam automatizar a coleta de dados de sites comuns, mídias sociais ou plataformas de vídeo sem depender de APIs oficiais. A skill cobre bibliotecas e frameworks como requests (para requisições simples), trafilatura (para extração de texto limpo), Playwright com modo stealth (para simular navegadores reais e evitar bloqueios), yt-dlp (para download de mídia) e instaloader (para scraping do Instagram). Além disso, inclui técnicas para implementar cascatas de scraping, onde múltiplas fontes são tentadas até que dados válidos sejam obtidos, e a detecção de 'poison pills' — respostas falsas ou alteradas que sites podem usar para enganar scrapers. O nome da skill mantém-se como 'jamditis/web-scraping' por ser um identificador técnico. Suas funcionalidades cobrem desde a extração simples de HTML até a automação complexa de navegação, com foco em resiliência e precisão dos dados.
npx skills add https://github.com/jamditis/claude-skills-journalism/tree/main/skills/web-scrapingInstalled? Explore more Pesquisa e Análise de Dados skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →
Web scraping com bypass anti-bot, extração de conteúdo, APIs não documentadas e detecção de iscas de desinformação. Use ao extrair conteúdo de sites, lidar com paywalls, implementar cascatas de scraping ou processar mídias sociais. Abrange padrões de requests, trafilatura, Playwright com modo stealth, yt-dlp e instaloader.
This repo contains 2 individual skills — each has its own dedicated page.
Academic writing, research methodology, and scholarly communication workflows. Use when writing papers, literature reviews, grant proposals, conducting research, managing citations, preparing for peer review, choosing OA routes under Plan S / 2026 OSTP Nelson Memo, posting preprints, working with persistent identifiers (ORCID, DOI, ROR), assigning CRediT contributor roles, preregistering analyses on OSF / AsPredicted, or disclosing LLM use to journals and funders. Essential for researchers, graduate students, and academics across disciplines.
Legal methods for paywalled and geo-blocked content. Use for paywalls, academic papers, or open access via Unpaywall.
USPTO patent and trademark data workflow for official record lookup, PatentSearch queries, TSDR checks, assignment data, and reproducible IP research logs.
Structured scholarly-work evaluation for papers, proposals, literature reviews, methods sections, evidence quality, citation support, and research-writing feedback.
Systematic literature-review workflow for academic, biomedical, technical, and scientific topics, including search planning, source screening, synthesis, citation checks, and evidence logging.
The agent harness performance optimization system. Skills, instincts, memory, security, and research-first development for Claude Code, Codex, Opencode, Cursor and beyond.
Agent skill repository discovered by 10x-chat research.
Review backend code for quality, security, maintainability, and best practices based on established checklist rules. Use when the user requests a review, analysis, or improvement of backend files (e.g., `.py`) under the `api/` directory. Do NOT use for frontend files (e.g., `.tsx`, `.ts`, `.js`). Supports pending-change review, code snippets review, and file-focused review.