Überprüfung von llms.txt und KI-Crawler-Zugriff
Eine schreibgeschützte Überprüfung von zwei Dateien: /llms.txt und /robots.txt. Sie meldet Probleme und nimmt keine Änderungen vor.
Wann verwenden
- "Habe ich eine gültige llms.txt?", "Blockiert meine Seite ChatGPT / Claude / Perplexity?", "Können KI-Crawler meine Seite lesen?"
Ausführung
python3 scripts/llms_check.py example.com
python3 scripts/llms_check.py https://docs.example.com --max-links 40
Erfordert ausgehenden HTTPS-Zugriff. Führt maximal etwa 25 Requests durch (prüft bis zu --max-links Links aus der llms.txt mit einer kurzen Pause dazwischen).
Was geprüft wird
/llms.txtgibt Status 200 zurück und ist Text, keine HTML-Soft-404-Seite.- Format gemäß llmstxt.org: eine
#H1, eine>Zusammenfassung,##Abschnitte, Markdown-Links. - Größe unter ~50 KB, damit ein Agent sie laden kann.
- Bis zu N Links werden aufgelöst (HEAD, fallback zu GET).
- Vorhandensein von
/llms-full.txt(optional). - robots.txt-Zugriff auf
/für GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended und CCBot.
Ergebnis ehrlich interpretieren
KI-Suchcrawler rufen llms.txt heute selten ab; Coding-Agenten und IDE-Assistenten tun dies. Für das Erscheinen in KI-Antworten sind robots.txt-Zugriff und serverseitig gerenderte Inhalte wichtiger. Sagen Sie dies dem Nutzer, anstatt llms.txt zu überhöhen.
Beispiel
python3 scripts/llms_check.py plausible.io → llms.txt fehlt (404), alle 8 KI-Crawler erlaubt, Sitemap deklariert → „/llms.txt veröffentlichen“ als einzige Korrektur.
Möchten Sie die Dateien erstellt haben?
- Kostenpflichtiges Skill, das eine Start-llms.txt schreibt, robots.txt auf KI-Bots prüft und eine Checkliste zur Behebung liefert: Ship llms.txt + Unlock AI Crawlers auf Agensi
- Gehostete Mehrseitenprüfung: AEO & GEO Readiness Checker auf Apify