Community研究与数据分析github.com

scrapegraphai/just-scrape

通过 ScrapeGraph AI CLI 搜索、抓取、爬取、提取结构化数据并监控网页。当用户要求搜索网络、抓取网页、从 URL 获取内容、从网站提取 JSON、爬取文档或站点部分、监控页面变化、检查请求历史、查看 ScrapeGraph 积分或验证 API 设置时使用。

just-scrape 是什么?

scrapegraphai/just-scrape 是一个基于 ScrapeGraph AI CLI 的综合技能,专为开发者和 AI 代理设计,用于执行各种网页数据采集任务。它支持搜索、抓取、爬取、提取结构化数据(如 JSON),以及持续监控网页变化,帮助用户自动化信息收集和网站分析。该技能适用于 Claude Code、Cursor 和 Codex 等平台,通过命令行接口提供直观操作。其核心优势在于简化复杂的网页交互流程,让用户无需手动编写抓取逻辑,即可快速获取所需数据。工作原理基于 ScrapeGraph AI 的 API,用户需先设置 `SGAI_API_KEY` 环境变量,然后通过 `sgai` 命令执行特定操作,例如 `sgai search "关键字"` 进行搜索或 `sgai scrape <URL>` 抓取内容。技能还包含检查 API 积分、查看请求历史和验证 API 设置等辅助功能,确保工作流程的可靠性和可追溯性。总之,这是一个强大的网页数据工具,能显著提升数据采集效率。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/scrapegraphai/just-scrape/tree/main/skills/just-scrape

Installed? Explore more 研究与数据分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

just-scrape 是做什么的?

通过 ScrapeGraph AI CLI 搜索、抓取、爬取、提取结构化数据并监控网页。当用户要求搜索网络、抓取网页、从 URL 获取内容、从网站提取 JSON、爬取文档或站点部分、监控页面变化、检查请求历史、查看 ScrapeGraph 积分或验证 API 设置时使用。

相关技能