llms.txt と AI クローラーアクセスチェック
/llms.txt と /robots.txt の 2 つのファイルを読み取り専用でチェックします。問題を報告しますが、書き込みや変更は行いません。
使用するタイミング
- 「有効な llms.txt を持っていますか？」「私のサイトは ChatGPT / Claude / Perplexity をブロックしていますか？」「AI クローラーは私のサイトを読めますか？」
実行方法
python3 scripts/llms_check.py example.com
python3 scripts/llms_check.py https://docs.example.com --max-links 40
アウトバウンド HTTPS が必要です。最大で約 25 回のリクエストを行います（llms.txt のリンクを --max-links までチェックし、各リンク間に短い間隔を置きます）。
チェックする内容
/llms.txtが 200 を返し、HTML のソフト 404 ページではなくテキストであること。- llmstxt.org 形式に従っていること：1 つの
#H1、>サマリー、##セクション、Markdown リンク。 - サイズが約 50 KB 未満であること（エージェントが読み込めるように）。
- 最大 N 個のリンクが解決すること（HEAD、失敗時は GET にフォールバック）。
/llms-full.txtの存在（オプション）。- robots.txt の
/に対するアクセス許可：GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、CCBot。
結果を正直に伝える
現在、AI 検索クローラーが llms.txt を取得することはほとんどありません。代わりに、コーディングエージェントや IDE アシスタントがこれを利用します。AI の回答に表示されるためには、robots.txt のアクセス許可とサーバーサイドレンダリングされたコンテンツの方が重要です。llms.txt を過大評価せず、この点をユーザーに伝えてください。
例
python3 scripts/llms_check.py plausible.io → llms.txt が見つからない（404）、8 つの AI クローラーすべてが許可されている、sitemap が宣言されている → 唯一の修正として「/llms.txt を公開してください」と出力。
ファイルを自動生成してほしい場合
- 有償スキル：スターター llms.txt の作成、AI ボット向け robots.txt の監査、修正チェックリストの提供：Ship llms.txt + Unlock AI Crawlers on Agensi
- ホスト型マルチページチェック：AEO & GEO Readiness Checker on Apify