Community研究与数据分析github.com

tmnh83/robots-txt-checker

一个用于通过 tamethebots MCP 实时检查 robots.txt 与相关爬虫(Google、Bing、AI 爬虫、SEO 工具、爬虫程序)兼容性的 Claude 技能。

robots-txt-checker 是什么?

这个技能允许 Claude 用户实时验证其网站的 robots.txt 文件是否与各种网络爬虫(包括 Google、Bing、AI 训练爬虫、SEO 工具和通用爬虫程序)正确交互。它通过 tamethebots MCP 协议进行操作,让开发者无需手动测试即可快速诊断爬虫访问问题。该技能支持在 Claude Code、Cursor 和 Codex 等平台上使用,利用 MCP 集成实现机器人模拟和规则解析。对于维护 SEO 健康、确保 AI 爬虫合规性以及防止意外阻止重要爬虫的开发者来说,它特别有用。在检查过程中,该技能获取指定的 robots.txt URL,针对预定义的机器人列表解析其规则,并呈现每个机器人的访问状态结果。

兼容平台✓Claude Code~Codex CLI~Cursor
npx skills add tmnh83/robots-txt-checker

Installed? Explore more 研究与数据分析 skills: affaan-m/uspto-database, affaan-m/scholar-evaluation, affaan-m/literature-review · View all 6 →

在你喜欢的 AI 中提问

打开一个已预加载此 Agent Skill 的新对话。

文档

robots-txt-checker 是做什么的?

一个用于通过 tamethebots MCP 实时检查 robots.txt 与相关爬虫(Google、Bing、AI 爬虫、SEO 工具、爬虫程序)兼容性的 Claude 技能。

相关技能