Was ist ein WAF- oder Bot-Schutz-Block?
Ein WAF- oder Bot-Schutz-Block entsteht, wenn eine Web Application Firewall, ein CDN oder der Bot-Schutz eines Hosters Anfragen von Crawlern abweist, bevor sie die Website erreichen. Die robots.txt kann dabei alles erlauben; der Crawler bekommt trotzdem nur eine Fehlerseite.
Solche Sperren stehen in keiner Datei, die der Betreiber selbst pflegt. Sie entstehen aus Voreinstellungen beim Hoster, aus Sicherheitsregeln eines CDN oder aus Schaltern wie dem Bot-Schutz von Cloudflare. Viele Betreiber wissen deshalb nicht, dass ihre Seite für KI-Crawler geschlossen ist.
Das Muster ist gut messbar. Ein Browser bekommt die Seite, der Crawler bekommt einen Fehlercode, etwa 403. In unserer Messung an 346 erreichbaren Websites deutscher Kleinunternehmen trat genau diese Konstellation bei 12,7 Prozent gegenüber dem GPTBot-User-Agent auf, während nur 3,7 Prozent von 327 auswertbaren robots.txt-Dateien einen KI-Crawler namentlich sperrten.
Auch die Betreiber der Crawler kennen das Problem. Perplexity weist in seiner Doku darauf hin, dass Betreiber einer Web Application Firewall die eigenen Bots gegebenenfalls ausdrücklich freigeben müssen.
Was das für deine Website heisst
Teste deine Startseite mit dem echten Crawler-User-Agent und vergleiche mit einem Browser. Unterscheiden sich die Statuscodes, liegt die Sperre in Firewall, CDN oder Hosting, nicht in der robots.txt. Der deeploupe GPTBot-Check zeigt diesen Vergleich für GPTBot und ClaudeBot. Die Lösung ist meist eine Ausnahmeregel im Bot-Schutz, die dein Hoster oder CDN dokumentiert.
Verwandte Begriffe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte