llms.txt 與 AI 爬蟲存取權限檢查
一個唯讀的兩份檔案檢查：/llms.txt 和 /robots.txt。它會回報問題，但不會寫入或變更任何內容。
使用時機
- "我的 llms.txt 有效嗎？"、"我的網站有封鎖 ChatGPT / Claude / Perplexity 嗎？"、"AI 爬蟲可以讀取我的網站嗎？"
如何執行
python3 scripts/llms_check.py example.com
python3 scripts/llms_check.py https://docs.example.com --max-links 40
需要對外 HTTPS 連線。最多發出約 25 個請求（它會檢查 llms.txt 中最多 --max-links 個連結，並在每個請求之間短暫暫停）。
檢查項目
/llms.txt回傳 200 狀態碼，且內容類型為純文字，而非 HTML 軟 404 頁面。- 格式符合 llmstxt.org 規範：一個
#H1 標題、一個>摘要、##章節、Markdown 連結。 - 檔案大小小於約 50 KB，以便代理程式可以載入。
- 最多 N 個連結可正常解析（先使用 HEAD，失敗則改用 GET）。
- 檢查
/llms-full.txt是否存在（可選）。 - 檢查 robots.txt 是否允許 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended 和 CCBot 存取
/。
誠實報告結果
目前 AI 搜尋爬蟲很少實際讀取 llms.txt；編碼代理程式和 IDE 輔助工具才會使用它。若要出現在 AI 回答中，robots.txt 的存取權限和伺服器端渲染的內容更為重要。請向使用者說明這點，而不是過度推銷 llms.txt。
範例
python3 scripts/llms_check.py plausible.io → llms.txt 不存在（404），全部 8 個 AI 爬蟲皆允許存取，已宣告 sitemap → 唯一的修正建議是「發布 /llms.txt」。
想要自動生成檔案嗎？
- 付費技能：自動建立初始 llms.txt、審查 robots.txt 中針對 AI 機器人的規則，並提供修正檢查清單：在 Agensi 上使用 Ship llms.txt + Unlock AI Crawlers
- 託管的多頁面檢查工具：在 Apify 上使用 AEO & GEO Readiness Checker