Communitygithub.com

Signal Lab Apify 工具集

使用 Signal Lab 针对性的 Apify 数据 API 或官方 MCP 工具,获取公开的 YouTube 字幕、将网站转换为 Markdown 进行 RAG 摄取、提取已知的职位发布信息、跟踪亚马逊价格、进行 Google 自动补全研究、Reddit 研究和餐厅菜单提取。当智能体需要这些公共数据工作流,且应选择有限、真实的 Apify 或 MCP 路径而非编造抓取能力时使用。

Signal Lab Apify 工具集 是什么?

Signal Lab Apify 工具集是一个路由技能,为 AI 智能体(如 Claude Code、Cursor、Codex 等)提供一组精心挑选的、聚焦于公共数据的工作流。它支持多个 Apify Actor,涵盖 YouTube 字幕提取、网站转 Markdown、已知职位发布信息提取、亚马逊价格追踪、Google 自动补全关键词、Reddit 公共数据搜索以及餐厅菜单提取。该技能强调使用最窄匹配的 Actor,保持输入边界,并始终参考 Apify 平台上的实时输入模式和定价信息作为唯一真实来源。对于 MCP 兼容的客户端,它支持通过 Apify 托管的 MCP 服务器将各 Actor 暴露为工具;对于非 MCP 工作流,则通过 Apify REST API 调用 Actor 并消费其数据集。该技能内置了失败、重试和成本处理规则,旨在防止无限制重试和未经授权的费用增加,适用于需要可靠、真实公共数据工作流的开发者。

兼容平台✓Claude Code✓Codex CLI✓Cursor
npx skills add https://github.com/VZezelin/first/tree/main/skills/signal-lab-apify-tools

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

Signal Lab Apify 工具集 是做什么的?

将 Signal Lab 用作一组聚焦的公共数据工作流的路由技能。优先选择与任务匹配的最窄 Actor,保持输入在有限范围内,并以 Apify Actor 的实时输入模式和定价标签页作为唯一事实来源。

使用场景

  • 用户需要可用的公开 YouTube 字幕或带时间戳的字幕片段,用于研究、RAG 或分析。
  • 用户需要将公共网站或有限同域名爬取转换为干净的 Markdown,用于 RAG、语义搜索、索引或 LLM 分析。
  • 用户已拥有一个或多个公开的职位发布 URL,需要标准化的职位字段,尤其是页面暴露的 Schema.org JobPosting 数据。
  • 用户需要公开的亚马逊产品价格或可用性跟踪、实时的 Google 自动补全关键词建议、公共 Reddit 研究或受支持的餐厅菜单提取。
  • MCP 兼容客户端应通过 Apify 托管的 MCP 服务器将一个或多个 Signal Lab Actor 暴露为工具。
  • 非 MCP 工作流应通过 Apify REST API 调用相应的 Actor 并消费其数据集。

勿用场景

  • 任务需要绕过登录墙、付费墙、验证码、机器人限制、反机器人控制、私密页面或其他访问控制。
  • 用户要求对没有可访问公开字幕轨道的 YouTube 视频进行音频转录;YouTube Actor 提取的是可用字幕,并非语音转文本服务。
  • 网站需要客户端 JavaScript 渲染,而纯 HTTP 爬虫无法提供;不要声称 Website to Markdown Actor 可以渲染单页面应用。
  • 用户希望进行大范围的职位板发现,而非从已知受支持的公开职位 URL 中提取;不要暗示 Job Vacancy Scraper 可以搜索所有职位板。
  • 请求的源或使用方式会违反相关法律、隐私要求、版权义务、网站条款或用户的授权。
  • 任务无需执行外部数据即可直接回答;不要仅仅为了展示技能而启动一个 Actor。

工作流程

  1. 明确具体的数据需求,并选择最匹配的窄工具。
    • YouTube 字幕:signal_lab/youtube-transcript-scraper
    • 网站转 Markdown:signal_lab/website-to-markdown-crawler
    • 已知公开职位 URL 提取:signal_lab/job-vacancy-scraper
    • 亚马逊价格跟踪:signal_lab/amazon-price-tracker
    • Google 自动补全研究:signal_lab/google-autocomplete-keywords
    • Reddit 公共研究:signal_lab/reddit-search-comments
    • 餐厅菜单提取:signal_lab/restaurant-menu-extractor
  2. 在执行前阅读工具的实时 Apify 输入模式和定价标签页。定价、可用性和模式可能发生变化;文档示例不能替代实时状态。
  3. 选择合适的执行方式。
    • 当客户端支持 MCP 且用户可以使用 Apify 进行身份验证时,优先使用 Apify 托管的 MCP。
    • 否则,使用用户自己的 Apify 令牌通过 Apify REST Actor API 执行。
  4. 从最小且有用的边界输入开始。
    • 对于爬取,首先最小化页面数量和深度。
    • 对于 URL/视频/产品列表,先测试小样本再扩展。
    • 切勿仅仅为了收集更多数据而增加花费或范围。
  5. 等待运行完成,然后消费默认数据集或 Actor 的文档化输出。
  6. 验证返回的字段确实来自源数据。缺失的源字段并不能证明它们存在。
  7. 仅在第一个边界结果有用且用户接受实时定价/经济性后,才进行扩展。

工具直链

当用户或智能体需要检查实时模式、定价标签页、示例或启动运行时,使用以下规范的 Apify Store 页面:

对于 MCP 客户端,仅通过 Apify 托管的 MCP 服务器暴露当前任务所需的工具,而非给智能体提供比必要更宽的工具面。

失败、重试与成本处理

  • 将 HTTP 429 视为背压信号,而非允许提高并发。当有 Retry-After 时遵循该值;否则使用带抖动的有限指数退避。
  • 仅对瞬态 5xx、网络或超时失败进行少量重试。对于确定性的 4xx 验证/认证错误,在输入或认证问题解决前不要重试。
  • 若 Actor 运行达到 FAILED、TIMED-OUT 或 ABORTED 状态,在决定是否合理重试前检查运行状态/日志证据。切勿盲目循环付费重试。
  • 轮询时,在状态检查之间进行退避,而非频繁调用 API。一旦运行进入终态,停止轮询。
  • 重试时保持原始输入边界。不要将提升 maxPages、项目数量、爬取深度、并发或代理范围作为通用失败响应。
  • 在实质性扩展重试或批量处理前,重新检查实时定价标签页。一个成功的 API 请求并不意味着下游运行是免费的。
  • 如果重复的瞬态重试失败、源阻止合法访问、认证不可用或下一次尝试会实质性增加花费,则停止并报告障碍。
  • 切勿将一次失败的付费运行转化为启动另一个付费 Actor 的借口,除非任务明确匹配且用户已授权经济开销。

规则

  • 始终使用用户自己的 Apify 认证进行付费执行或 MCP 授权。
  • 切勿嵌入、暴露、代理或请求 Signal Lab 所有者的凭证。
  • 切勿将公共 Actor 运行次数、总用户数、目录列表或成功的 API 请求视为创作者收入的证明。
  • 切勿承诺源页面或字幕轨道未暴露的字段。
  • 切勿声称具有绕过访问控制的能力。
  • 优先选择可逆的、有边界的调用,并使用最小的必要数据量。
  • 在执行前使用实时 Apify 定价标签页作为商业上的唯一事实来源。
  • 对于 Website to Markdown,尊重其 HTTP 爬虫限制和边界爬取控制。
  • 对于 YouTube,将输出描述为可用的公开字幕/时间戳,而非新生成的转录。
  • 对于职位发布提取,将其描述为已知公开 URL 提取和 Schema.org 感知解析,而非通用职位搜索。

示例

用于 RAG 的 YouTube 字幕

用户需求:“从这些公开 YouTube 视频中获取时间戳,以便我构建一个可引用源的 RAG 索引。”

使用 signal_lab/youtube-transcript-scraper,输入一小批公开 URL,请求带时间戳的片段,然后在构建下游索引时保留源 URL、语言、字幕文本和片段时间。

网站文档转 Markdown

用户需求:“把这个文档网站转换成一个小型 Markdown 语料库,供我的 LLM 使用。”

使用 signal_lab/website-to-markdown-crawler。从一页或较低的 maxPages 值开始,保持启用 sameDomainOnly,保持爬取深度较低,并遵守 robots 规则。在扩展前检查第一个数据集的行。

已知职位发布转结构化 JSON

用户需求:“从这五个职位 URL 中标准化标题、公司、地点、薪资和日期。”

仅对提供的公开 URL 使用 signal_lab/job-vacancy-scraper。返回页面实际暴露的字段,并标明缺失值,而非捏造。

MCP 连接

对于聚焦的 Website to Markdown 工具,MCP 兼容客户端可以使用:

{
  "mcpServers": {
    "signal-lab-markdown": {
      "url": "https://mcp.apify.com?tools=signal_lab/website-to-markdown-crawler"
    }
  }
}

Apify 处理身份验证。请勿将所有者令牌放入共享配置中。

边缘情况

  • 如果 Apify 身份验证不可用,请提供正确的 Actor 或 MCP 连接路径,但不要使用他人的凭证执行付费工作。
  • 如果实时 Actor 模式与此技能不同,请遵循实时模式并相应更新假设。
  • 如果页面纯 JavaScript 依赖,且 HTTP 爬虫返回不完整内容,请停止并解释渲染限制,而非升级到访问控制绕过技术。
  • 如果 YouTube 没有暴露可用的公开字幕,请停止并报告该限制;不要悄无声息地切换到不同的付费转录产品。
  • 如果职位页面缺少薪资或结构化元数据,返回可验证存在的字段,并将其余部分标记为缺失。
  • 如果请求的运行可能变得庞大或昂贵,请缩小初始输入并请求批准,然后再实质性扩展花费。

参考资料

相关技能