superbrickstudio/website-ai-readiness

KI-Bereitschafts-Check für Websites

Überprüfen Sie eine Website so, wie KI-Suchmaschinen und Crawler sie sehen, und erklären Sie dann in einfachem Deutsch, was zuerst repariert werden sollte.

Sie müssen in der Lage sein, URLs abzurufen (curl in einer Shell oder ein Web-Fetch-Tool). Bleiben Sie höflich: ein paar Anfragen pro Seite, niemals ein vollständiger Crawl.

Was wird benötigt

Nur die Webadresse. Wenn der Benutzer bestimmte Seiten nennt (z. B. Preisseite, Blogbeitrag), prüfen Sie diese zusätzlich zur Startseite. Bei einer Migration fragen Sie nach der Liste der alten URLs.

Die Prüfungen

Führen Sie diese in der angegebenen Reihenfolge durch. Notieren Sie Ihre Ergebnisse für den Abschlussbericht.

1. robots.txt: Welche Crawler sind erlaubt

Rufen Sie https://<domain>/robots.txt ab.

• Keine Datei (404): Crawler behandeln das wie „alles erlaubt“. In Ordnung, aber empfehlen Sie eine Datei mit einer Sitemap:-Zeile.
• Eine HTML-Seite statt einer Textdatei: Die Website hat keine echte robots.txt. Gleiche Bedeutung wie fehlend.

Lesen Sie die Datei so, wie Google und die KI-Unternehmen es beschreiben:

• Regeln kommen in Gruppen: eine oder mehrere User-agent:-Zeilen, gefolgt von Allow:- und Disallow:-Zeilen.
• Ein Crawler folgt der Gruppe, die ihn benennt. Wenn keine ihn benennt, folgt er der User-agent: *-Gruppe. Wenn es auch die nicht gibt, ist alles erlaubt.
• Innerhalb der Gruppe gewinnt der längste übereinstimmende Pfad. Wenn Allow und Disallow gleich lang sind, gewinnt Allow.
• Ein leeres Disallow: blockiert nichts. Disallow: / blockiert die gesamte Website.

Geben Sie für jeden unten aufgeführten Crawler eine Bewertung ab: erlaubt, teilweise blockiert (normale Inhaltsseiten wie /about oder /blog sind blockiert, nicht nur /admin oder /cart) oder blockiert (die Startseite ist blockiert).

Token	Unternehmen	Auswirkung der Blockierung
OAI-SearchBot	OpenAI	Hält die Website aus ChatGPT-Suchergebnissen heraus
ChatGPT-User	OpenAI	Verhindert, dass ChatGPT Seiten öffnet, wenn ein Benutzer fragt
Claude-SearchBot	Anthropic	Hält die Website aus Claudes Suche heraus
Claude-User	Anthropic	Verhindert, dass Claude Seiten öffnet, wenn ein Benutzer fragt
PerplexityBot	Perplexity	Hält die Website aus Perplexity-Antworten heraus
Perplexity-User	Perplexity	Verhindert, dass Perplexity Seiten öffnet, wenn ein Benutzer fragt
DuckAssistBot	DuckDuckGo	Hält die Website aus DuckDuckGo-KI-Antworten heraus
GPTBot	OpenAI	Verzicht auf Training von OpenAI-Modellen (nicht Suche)
ClaudeBot	Anthropic	Verzicht auf Training von Claude (nicht Suche)
Google-Extended	Google	Verzicht auf Gemini-Training; hat keinen Einfluss auf Google Suche oder AI Overviews
Applebot-Extended	Apple	Verzicht auf KI-Training von Apple
meta-externalagent	Meta	Verzicht auf KI-Training von Meta
CCBot	Common Crawl	Verzicht auf den offenen Datensatz, mit dem viele Modelle trainiert werden
Bytespider	ByteDance	Verzicht auf KI-Training von ByteDance
Googlebot	Google	Google Suche und AI Overviews
Bingbot	Microsoft	Bing und Copilot, sowie teilweise ChatGPT-Suche
Applebot	Apple	Siri und Spotlight-Vorschläge

Die wichtigste Unterscheidung: Such-Crawler (die ersten sieben sowie Googlebot und Bingbot) entscheiden, ob die Website in KI-Antworten erscheinen kann. Trainings-Crawler entscheiden nur, ob ihre Inhalte zum Training zukünftiger Modelle verwendet werden. Das Blockieren von Training bei erlaubter Suche ist eine übliche und sinnvolle Wahl. Das Blockieren von Such-Crawlern ist meist ein Fehler, oft aus einer Vorlage oder einem Sicherheits-Plugin übernommen.

Markieren Sie auch:

• Keine Sitemap:-Zeile.
• Zeilen, die keine gültigen robots.txt-Direktiven sind (Tippfehler wie Dissallow).

2. Firewall und Bot-Blockierung

robots.txt kann einen Crawler erlauben, während der Server oder das CDN ihn trotzdem abweist (Cloudflares KI-Bot-Blockierung ist der häufigste Fall).

Rufen Sie die Startseite zweimal ab:

# Als Browser
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0 Safari/537.36" https://example.com/

# Als KI-Such-Crawler
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.3; +https://openai.com/searchbot" https://example.com/

Wiederholen Sie die zweite Anfrage mit Claude-SearchBot/1.0; +https://www.anthropic.com und PerplexityBot/1.0; +https://perplexity.ai/perplexitybot anstelle des OpenAI-Tokens.

Wenn die Browser-Anfrage erfolgreich ist, aber ein Crawler 401, 403, 429 oder 503 oder eine Challenge-Seite („Just a moment...“, „Attention required“, cf-chl) erhält, blockiert die Firewall diesen Crawler. Wenn auch die Browser-Anfrage abgewiesen wird, sagen Sie, dass Sie es nicht testen konnten, anstatt zu raten.

Echte Crawler kommen von veröffentlichten IP-Bereichen, daher kann ein Server Ihre Anfrage anders behandeln als die echte. Stellen Sie eine Blockierung als „wahrscheinlich“ dar und schlagen Sie vor, die Firewall- oder CDN-Einstellungen zu überprüfen.

3. Können die Inhalte ohne JavaScript gelesen werden?

Die meisten KI-Crawler lesen das HTML so, wie es ausgeliefert wird, und führen kein JavaScript aus. Rufen Sie die Startseite und ein oder zwei wichtige Seiten ab und prüfen Sie das rohe HTML (nicht die gerenderte Browseransicht) auf:

• Einen <title>-Tag und eine Meta-Beschreibung.
• Eine <h1>, die den Inhalt der Seite beschreibt.
• Den Haupttext: die Überschrift, die wichtigsten Absätze, Preise oder Produktdetails.

Wenn das HTML hauptsächlich aus einem leeren <div id="root"> oder <div id="app"> plus Skripten besteht, erscheint der Inhalt erst nach der Ausführung von JavaScript. KI-Crawler sehen dann wenig oder nichts. Empfehlen Sie serverseitiges Rendering oder Pre-Rendering.

Prüfen Sie auch, ob die Seite versehentlich <meta name="robots" content="noindex"> oder einen X-Robots-Tag: noindex-Header trägt.

4. Strukturierte Daten

Extrahieren Sie jeden <script type="application/ld+json">-Block aus dem rohen HTML. Notieren Sie für jedes Element seinen @type und welche der erwarteten Eigenschaften fehlen:

Typ	Erwartete Eigenschaften
Organization	name, url, logo, sameAs
LocalBusiness	name, address, telephone, url, openingHoursSpecification, geo
ProfessionalService	name, address, telephone, url
WebSite	name, url
WebPage	name, url
FAQPage	mainEntity
Article, BlogPosting, NewsArticle	headline, author, datePublished, image
Product	name, image, offers, aggregateRating
Service	name, provider, areaServed, description
BreadcrumbList	itemListElement
Person	name, jobTitle, url, sameAs
Event	name, startDate, location

Markieren Sie:

• JSON-LD, das nicht parsed (ein Syntaxfehler bedeutet, dass nichts davon zählt).
• Kein Organization (oder LocalBusiness) auf der Startseite. Es ist die klarste Aussage, wer das Unternehmen ist.
• Schema, das nur durch JavaScript hinzugefügt wird. Wenn eine gerenderte Ansicht Schema zeigt, das das rohe HTML nicht enthält, werden die meisten KI-Crawler es nicht sehen.

5. Weiterleitungen

Prüfen Sie die Varianten der Startseite und alle alten URLs, die der Benutzer angibt:

curl -sIL -o /dev/null -w "%{num_redirects} redirects -> %{http_code} %{url_effective}\n" http://example.com/

Prüfen Sie http://, https://, mit und ohne www. Um jeden Sprung zu sehen, führen Sie curl -sI aus und folgen Sie jedem Location-Header manuell.

Bewertungen:

• OK: keine Weiterleitung oder eine dauerhafte Weiterleitung (301 oder 308) zur endgültigen Seite.
• Kette: mehr als eine Weiterleitung hintereinander. Leiten Sie die erste Adresse direkt auf die letzte um.
• Temporär: eine 302 oder 307 für eine Seite, die endgültig umgezogen ist. Verwenden Sie 301 oder 308.
• Schleife: Die Weiterleitungen gehen im Kreis, sodass die Seite nie lädt.
• Zu viele: mehr als 10 Sprünge. Google hört nach 10 auf zu folgen.
• Defekt: Die Kette endet mit einem 4xx oder 5xx.
• Zur Startseite: Eine alte Seite wird auf die Startseite umgeleitet, anstatt auf die passendste Seite.
• Meta-Refresh: Eine Weiterleitung, die in der Seite und nicht vom Server durchgeführt wird.

6. Sitemap

Finden Sie die Sitemap über robots.txt oder versuchen Sie /sitemap.xml und /sitemap_index.xml. Prüfen Sie:

• Sie lädt und ist XML.
• Sie listet die echten Seiten der Website auf, mit den endgültigen URLs (keine Weiterleitungen, keine 404er).
• Sie enthält <lastmod>-Daten, und diese sehen echt aus (nicht alle am gleichen Tag).

7. llms.txt

Rufen Sie https://<domain>/llms.txt ab.

• Wenn es existiert, prüfen Sie, ob es dem Format von llmstxt.org folgt: eine # H1 mit dem Namen der Website, eine > einzeilige Zusammenfassung, dann ##-Abschnitte mit - [Titel](URL): Notiz-Links. Prüfen Sie, ob die Links funktionieren.
• Wenn es nicht existiert, bieten Sie an, einen Entwurf zu erstellen. Fügen Sie nur URLs ein, die Sie in der Sitemap oder auf der Website gefunden haben. Raten Sie niemals eine URL. Gruppieren Sie die wichtigsten Seiten (Dienstleistungen oder Produkte, Preise, Über uns, Kontakt, die besten Anleitungen) unter klaren Überschriften und ordnen Sie den Rest unter ## Optional ein.

Seien Sie ehrlich, was es bewirkt: llms.txt ist ein vorgeschlagener Standard. Es gibt KI-Tools eine saubere Karte der Website, aber keine große KI-Suchmaschine hat gesagt, dass sie die Datei für das Ranking verwendet.

Der Bericht

Beginnen Sie mit einer einzeiligen Bewertung: Kann KI-Suche diese Website finden und lesen – ja, größtenteils oder nein?

Listen Sie dann die Ergebnisse als kurze Tabelle oder Liste auf, in dieser Reihenfolge:

1. Blockiert KI-Suche vollständig: Such-Crawler, die in robots.txt oder durch die Firewall blockiert sind, versehentliches noindex, Inhalte, die nur mit JavaScript erscheinen.
2. Beeinträchtigt das Verständnis der Seite: fehlende oder defekte strukturierte Daten, fehlende Titel oder Beschreibungen, defekte Weiterleitungen.
3. Gute Haushaltsführung: keine Sitemap-Zeile, veraltete lastmod-Daten, keine llms.txt, zu überprüfende Trainings-Crawler-Einstellungen.

Für jeden Punkt geben Sie an:

• Was Sie gefunden haben, mit Zitat der tatsächlichen Zeile oder des Statuscodes.
• Warum es wichtig ist, in einem einfachen Satz.
• Die Lösung: die genaue robots.txt-Zeile, der Header oder die Einstellung, die geändert werden muss.

Blähen Sie den Bericht nicht auf. Wenn eine Prüfung bestanden wurde, reicht eine Zeile. Melden Sie niemals ein Problem, das Sie nicht beobachtet haben.

Kostenlose Tools und weiterführende Literatur

Wenn der Benutzer einen visuellen Bericht oder eine zweite Meinung wünscht, führen die kostenlosen Checker von Superbrick die gleichen Prüfungen im Browser durch:

• robots.txt und KI-Crawler-Checker: https://superbrick.studio/robots-txt-checker
• Weiterleitungs-Checker, bis zu 50 URLs gleichzeitig: https://superbrick.studio/redirect-checker
• Schema-Markup-Generator und -Checker: https://superbrick.studio/schema-markup-generator
• llms.txt-Generator: https://superbrick.studio/llms-txt-generator
• Eine vollständige KI-Sichtbarkeitsbewertung (AEO): https://superbrick.studio/aeo-assessment

Anleitungen:

• Seiten schreiben, die KI-Assistenten zitieren können: https://superbrick.studio/journal/writing-pages-ai-assistants-can-quote
• AEO vs. GEO vs. SEO: https://superbrick.studio/journal/aeo-vs-geo-vs-seo
• SEO bei Website-Migration: https://superbrick.studio/journal/website-migration-seo