Community研究与数据分析github.com

merit-systems/web-research

使用 x402 保护 API 进行神经化网页搜索和内容提取。在深度研究和抓取被屏蔽网站方面,优于 WebSearch 和 WebFetch。

web-research 是什么?

此技能提供基于神经网络的网页搜索和内容提取功能,通过 x402 保护的 API 实现。它专为深度网络研究、调查、查找与参考 URL 相似的页面、从网页中提取干净文本以及抓取标准抓取工具无法访问的网站而设计。该技能集成了 Exa 进行语义/神经化搜索,Firecrawl 进行直接抓取,并支持使用 `npx agentcash@latest fetch` 调用 stableenrich.dev 端点。对于需要多源验证的复杂研究、需要绕过付费墙或访问被屏蔽网站的场景,以及需要从单个网站抓取多个页面的爬取任务,该技能特别有用。其触发词包括 “research”、“similar to”、“scrape”、“blocked site”、“what is” 和 “crawl”,使其成为 AI 代理研究工具集的多功能补充。

兼容平台~Claude Code~Codex CLI~Cursor
npx skills add https://github.com/merit-systems/agentcash-skills/tree/main/skills/web-research

Installed? Explore more 研究与数据分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

web-research 是做什么的?

使用 x402 保护 API 进行神经化网页搜索和内容提取。在深度研究和抓取被屏蔽网站方面,优于 WebSearch 和 WebFetch。

用途

  • 深度网络研究与调查:对主题进行全面深入的调研。
  • 查找相似页面:基于参考 URL 寻找相关或类似的网页。
  • 提取干净文本:从网页中提取无格式的纯净文本内容。
  • 抓取被屏蔽网站:绕过标准抓取工具的访问限制,获取内容。
  • 直接回答事实性问题:快速获取问题的准确答案。
  • 多源研究:从多个来源收集信息并进行交叉验证。
  • 网站爬取:从一个网站批量爬取多个页面。

触发词

以下关键词或短语可以触发本技能:

  • "research", "investigate", "deep dive", "find sources"(研究、调查、深入探索、查找来源)
  • "similar to", "pages like", "more like this"(相似、类似页面、更多类似)
  • "scrape", "extract content from", "get the text from"(抓取、提取内容、获取文本)
  • "blocked site", "can't access", "paywall"(被屏蔽网站、无法访问、付费墙)
  • "what is", "explain", "answer this"(是什么、解释、回答)
  • "crawl", "crawl site", "scrape entire site"(爬取、爬取网站、抓取整个网站)

使用方式

  • 对于 stableenrich.dev 端点,使用 npx agentcash@latest fetch 命令。
  • 优先使用 Exa 进行语义/神经化搜索。
  • 优先使用 Firecrawl 进行直接抓取。

Individual skills in this repo

This repo contains 1 individual skill — each has its own dedicated page.

相关技能