Community研究与数据分析github.com

d4vinci/scrapling-official

使用 Scrapling 库抓取网页,具备反爬虫绕过(如 Cloudflare Turnstile)、无头浏览器隐身模式、爬虫框架、自适应抓取和 JavaScript 渲染功能。适用于需要从网站抓取、爬取或提取数据,web_fetch 失败,网站有反爬保护,需要编写 Python 爬虫代码或爬虫脚本的场景。

scrapling-official 是什么?

该技能通过集成 Scrapling 库,提供了一种强大且灵活的方式来抓取和爬取网页内容。它专门设计用于应对现代网站常见的反爬虫机制,包括 Cloudflare Turnstile 等复杂的挑战,通过隐身无头浏览模式实现绕过。此外,它还内置了蜘蛛(spider)框架,允许开发者编写和管理爬虫脚本,支持自适应抓取策略和 JavaScript 渲染,以处理动态加载的内容。该技能基于详细的 SKILL.md 文档,为 Claude Code、Cursor、Codex 等 AI 代理提供了清晰的指导和最佳实践,使其能够高效、可靠地从目标网站提取数据。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/d4vinci/scrapling/tree/main/skills/scrapling-official

Installed? Explore more 研究与数据分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

scrapling-official 是做什么的?

使用 Scrapling 库抓取网页,具备反爬虫绕过(如 Cloudflare Turnstile)、无头浏览器隐身模式、爬虫框架、自适应抓取和 JavaScript 渲染功能。适用于需要从网站抓取、爬取或提取数据,web_fetch 失败,网站有反爬保护,需要编写 Python 爬虫代码或爬虫脚本的场景。

相关技能