llms.txt 和 AI 爬虫访问检查
对两个文件 /llms.txt 和 /robots.txt 进行只读检查。它会报告问题，不会写入或更改任何内容。
何时使用
- "我是否有有效的 llms.txt？"、"我的网站是否屏蔽了 ChatGPT / Claude / Perplexity？"、"AI 爬虫能读取我的网站吗？"
如何运行
python3 scripts/llms_check.py example.com
python3 scripts/llms_check.py https://docs.example.com --max-links 40
需要出站 HTTPS。最多发起约 25 个请求（它会检查 llms.txt 中最多 --max-links 个链接，并在请求之间稍作停顿）。
检查内容
/llms.txt返回 200 状态码且为文本，不是 HTML 软 404 页面。- 格式符合 llmstxt.org 规范：一个
#H1 标题，一个>摘要，##章节，Markdown 链接。 - 大小不超过约 50 KB，以便代理可以加载。
- 最多 N 个链接可解析（HEAD 请求，失败时回退到 GET）。
/llms-full.txt是否存在（可选）。robots.txt中 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended 和 CCBot 对/的访问权限。
如实阅读结果
AI 搜索爬虫目前很少抓取 llms.txt；编码代理和 IDE 助手会这样做。要在 AI 回答中出现，robots.txt 的访问权限和服务器端渲染的内容更为重要。请向用户说明这一点，不要过度宣传 llms.txt。
示例
python3 scripts/llms_check.py plausible.io → llms.txt 缺失（404），所有 8 个 AI 爬虫被允许，sitemap 已声明 → 唯一的修复建议是“发布 /llms.txt”。
希望为您写入文件？
- 付费技能：可写入初始 llms.txt、审计 AI 机器人的 robots.txt 并发布修复清单：在 Agensi 上发布 llms.txt + 解锁 AI 爬虫
- 托管的多页面检查：在 Apify 上的 AEO 和 GEO 就绪检查器