CommunityPesquisa e Análise de Dadosgithub.com

shirenchuang/web-content-fetcher

Extrai o conteúdo de artigos de qualquer URL como Markdown limpo. Usa script Scrapling como método principal (com fallback automático fast→stealth) e Jina Reader como alternativa para páginas simples. Preserva títulos, links, imagens, listas e blocos de código.

O que é web-content-fetcher?

Esta skill é um utilitário de web scraping otimizado para agentes de IA, extraindo conteúdo de artigos de qualquer URL e convertendo-o para Markdown limpo e estruturado. Ela emprega Scrapling como método principal, com um fallback automático de modo rápido para modo stealth, lidando com sites que possuem proteções anti-bot. Como alternativa para páginas mais simples, utiliza o Jina Reader, garantindo extração confiável para blogs, notícias, artigos do WeChat (微信公众号), documentações e qualquer página web. A skill preserva elementos importantes como títulos, links, imagens, listas e blocos de código, sendo ideal para sumarização, leitura assistida e processamento de conteúdo web por agentes de IA. Ela deve ser acionada sempre que o usuário pedir para buscar, ler, extrair, raspar ou resumir conteúdo de uma URL, inclusive com comandos em português e chinês.

Funciona com~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/shirenchuang/web-content-fetcher/tree/main/skills/web-content-fetcher

Installed? Explore more Pesquisa e Análise de Dados skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

Perguntar na sua IA favorita

Abre um novo chat com esta habilidade de agente já pré-carregada.

Documentação

O que web-content-fetcher faz?

Extrai o conteúdo de artigos de qualquer URL como Markdown limpo. Usa script Scrapling como método principal (com fallback automático fast→stealth) e Jina Reader como alternativa para páginas simples. Preserva títulos, links, imagens, listas e blocos de código. Use esta skill sempre que o usuário quiser buscar, ler, extrair, raspar ou resumir conteúdo de uma URL — incluindo postagens de blog, notícias, artigos do WeChat (微信公众号), páginas de documentação ou qualquer página web. Também acione quando o usuário disser coisas como "me ajude a ler este artigo", "raspe esta página", "extraia o conteúdo principal" ou "leia esta página para mim".

Habilidades Relacionadas