Du hast deine Texte überarbeitet, eine FAQ-Seite gebaut, alles schön strukturiert – und trotzdem tauchst du bei ChatGPT, Claude oder Perplexity einfach nicht auf. Sehr oft liegt das gar nicht an deinen Inhalten, sondern daran, dass die KI-Crawler blockiert werden, bevor sie einen einzigen Satz von dir zu Gesicht bekommen. Ich gebe zu: Dass man eine KI gezielt aussperren kann, wusste ich selbst lange nicht, obwohl ich seit Jahren vor WordPress-Backends sitze und felsenfest überzeugt war, dass ich weiß, was jedes Häkchen dort tut. Selten so danebengelegen.
Wer lieber liest als hört: Hier steht alles zum Nachlesen, inklusive Klickweg zum Mitmachen – ohne Plugin und ohne dass du irgendwen anrufen musst.
Warum die robots.txt die falsche erste Adresse ist
Wie ChatGPT & Co. überhaupt entscheiden, wen sie als Quelle nennen, habe ich in Folge 111: In ChatGPT gefunden werden erklärt – und dort auch behauptet, dass es meistens an einer geschlossenen Tür liegt, wenn eine Website in keiner KI-Antwort vorkommt. Prompt kam die Frage: „Ja super, Angelika, und wie finde ich das jetzt raus?“ Fair enough. Dafür musste ich selbst ordentlich recherchieren.
Fast alle schauen zuerst in die robots.txt, finden dort nix Verdächtiges und denken sich: passt eh. Das Problem ist, dass ein Bot auf drei Ebenen abgewiesen werden kann, und die robots.txt ist die unterste davon. Ganz außen sitzen dein Hoster und oft ein Schutzdienst wie Cloudflare, in der Mitte WordPress mit allen Plugins, die sich über die Jahre angesammelt haben, und erst ganz innen liegt die kleine Textdatei, in die alle zuerst schauen.
Stell dir ein Wohnhaus vor. Es nützt dir gar nichts, dass deine Wohnungstür im dritten Stock sperrangelweit offen steht, wenn unten die Haustür versperrt ist. Der Besuch kommt nie zu dir hinauf, und deine Wohnungstür erfährt nicht einmal, dass jemand geläutet hat. Dazu kommt: Die robots.txt ist ohnehin nur eine höfliche Bitte und keine Sperre – die echte Türsteherarbeit passiert auf Server- und Firewall-Ebene.
Das WordPress-Häkchen, das deine ganze Website versteckt
In WordPress gibt es unter „Einstellungen → Lesen“ ein unscheinbares Häkchen, das sinngemäß „Suchmaschinen davon abhalten, diese Website zu indexieren“ heißt. Das setzt man, solange eine Seite gebaut wird, denn eine halbfertige Website voller „Lorem ipsum“ soll natürlich nicht bei Google landen. Das macht fast jeder Webdesigner so, und es ist total vernünftig.
Und dann kommt der Livegang, es ist hektisch, alle sind erleichtert – und das Häkchen bleibt drin. Das passiert immer wieder, und niemand merkt es, weil die Website im Browser ganz normal aufgeht. Genau deshalb gehört ein Blick auf diese Einstellung zu jeder Übergabe; warum eine Website regelmäßige Pflege braucht, habe ich in einer eigenen Folge zusammengefasst.
Und jetzt kommt’s, denn hier steht in vielen Blogbeiträgen schlicht Falsches: Bis WordPress 5.2 hat dieses Häkchen ein „Disallow“ in die robots.txt geschrieben. Seit Version 5.3 schreibt es stattdessen ein unsichtbares „noindex“ in den Seitenkopf. Im Klartext: Deine robots.txt schaut picobello sauber aus, und die Website ist trotzdem unsichtbar – wer nach einer alten Anleitung prüft, ist komplett am falschen Dampfer.
Fehler 429: die freundlichste Abfuhr im Internet
Die zweite Falle ist noch eine Spur gemeiner. Wenn ein Hoster oder eine Firewall einen Bot abweist, wäre die ehrliche Antwort der Statuscode 403, also „verboten“. Viele Systeme schicken stattdessen aber einen 429er.
429 heißt „Too Many Requests“ und klingt nach: Sorry, gerade ist viel los, schau später noch einmal vorbei. Tut es aber nicht, denn bei mehreren großen Anbietern ist genau diese Antwort absichtlich als Abweisung für KI-Bots hinterlegt. Das ist, als würde dir der Türsteher erklären, das Lokal sei leider voll, während drinnen drei Leute an der Bar lehnen und der DJ gelangweilt aufs Handy schaut.
Tückisch ist das, weil ein 429 in Fehlerberichten nach einem vorübergehenden Lastproblem aussieht und nicht nach einer Sperre. Wer ihn sieht, wartet ab, statt nachzuforschen. Merk dir deshalb: Bekommt ein Bot dauerhaft 403 oder 429, während die Seite für dich ganz normal lädt, dann ist das keine Überlastung, sondern eine Tür, die jemand zugemacht hat.
Selbsttest: robots.txt und Quelltext in zwei Minuten prüfen
Die ersten beiden Prüfungen schaffst du in der Zeit, in der dein Kaffee durchläuft, ganz ohne Zugangsdaten.
- Die robots.txt aufrufen. Tipp deine Domain ein und dahinter /robots.txt. Alarmzeichen ist ein Block mit „User-agent: *“ und darunter „Disallow: /“ – damit ist die ganze Website für alle Crawler zu. Genauso verdächtig: ein Block mit OAI-SearchBot, PerplexityBot oder Claude-SearchBot und darunter wieder ein Disallow.
- Den Quelltext nach noindex durchsuchen. Öffne deine Startseite, drück F12 für die Entwicklertools in Chrome, dann Strg+F und such nach „noindex“. Ein Treffer im Seitenkopf heißt: Das WordPress-Häkchen ist sehr wahrscheinlich noch gesetzt.
Ein Wort zu den Bot-Namen, weil die gern durcheinanderkommen: Bei OpenAI sammelt GPTBot Material fürs Training, OAI-SearchBot ist für die Suche in ChatGPT unterwegs, und auch Anthropic und Perplexity haben eigene Namen für ihre Such-Crawler. Du kannst also das Training sperren und trotzdem in Suchantworten auftauchen – nur muss die robots.txt genau das abbilden, statt pauschal alles dichtzumachen. Ob Google deine Seiten überhaupt im Index führt, verrät dir übrigens die Search Console, die ich in Folge 2: Google Search Console Schritt für Schritt erkläre.
Der magische Feen-Tipp: Verkleide dich als Bot
Wir verkleiden uns jetzt, obwohl gar nicht Fasching ist (beziehungsweise Karneval, für alle in Deutschland), und zwar als Bot. Denn was dein Hoster oder deine Firewall mit Besuchern macht, die sich als KI-Crawler vorstellen, siehst du in WordPress nicht. Dafür brauchst du weder Kostüm noch Konfetti noch Plugin, sondern nur Google Chrome.
- Entwicklertools öffnen. Drück F12 und wechsle oben auf den Reiter „Network“.
- Network conditions aufrufen. Klick im selben Fenster auf die drei übereinanderstehenden Punkte, dann auf „More tools“ und „Network conditions“.
- Verkleiden. Nimm bei „User agent“ das Häkchen bei „Use browser default“ weg und schreib in das Feld darunter: GPTBot.
- Neu laden und die erste Zeile lesen. Dort steht eine Zahl: 200 heißt, der Bot ist durch. 403 oder 429 heißt, du hast den Schuldigen gefunden.
- Die Gegenprobe machen. Setz das Häkchen wieder und lade noch einmal, ruhig mit etwas Geduld. Bekommt dein normaler Browser eine 200 und der verkleidete Bot eine 403 oder 429, sperrt da jemand gezielt KI-Crawler aus.
Ehrlich gesagt hat der Test eine Grenze: Er ändert nur den Namen, mit dem sich dein Browser anmeldet, nicht die Adresse, von der die Anfrage kommt. Manche Systeme prüfen beides, und ein „falscher“ GPTBot aus deinem Wohnzimmer-WLAN wird dort anders behandelt als der echte. Für die allermeisten Fälle reicht der Test trotzdem völlig.
Von außen nach innen reparieren – und dann Geduld haben
Wenn du fündig geworden bist, reparierst du von außen nach innen: zuerst Hoster und Schutzdienst, dann die Plugins in WordPress, wo Sicherheits- und Firewall-Plugins die üblichen Verdächtigen sind, und erst ganz zum Schluss die robots.txt. Wer innen anfängt, schraubt an einer Ebene, die gar nicht die Ursache war – wie Fensterputzen, während unten noch die Haustür zugesperrt ist.
Für alle mit Cloudflare gibt es eine gute Nachricht: Cloudflare hat Mitte September auf eine neue Voreinstellung umgestellt, die das Training durch KI blockiert, die Suche aber erlaubt. Das gilt allerdings nur für neue Domains, Bestandskunden werden nicht automatisch umgestellt – also einmal in die eigenen Einstellungen schauen.
Und dann durchatmen. Bitte nicht nach fünf Stunden nachschauen und frustriert sein, weil sich nichts getan hat. Solche Änderungen brauchen üblicherweise einen Tag, manchmal zwei, je nach Anbieter.
Bevor du an deinen Texten feilst: Schau, ob überhaupt wer reindarf
Die Sperren sitzen selten dort, wo alle suchen. Es gibt ein Häkchen, das eine ganze Website unsichtbar macht, ohne in der robots.txt eine Spur zu hinterlassen, und mit dem Bot-Kostüm hast du einen Test, für den du auf niemanden warten musst. In einem Satz: Bevor du stundenlang an deinen Texten herumfeilst, schau nach, ob du die Tür überhaupt aufgemacht hast.
Jetzt bin ich neugierig: Was hat dein Bot-Test ergeben – 200, 403 oder doch der freundliche 429er?
