Was ist HTTP 403?
HTTP 403 Forbidden ist ein Statuscode, mit dem ein Server mitteilt, dass er die Anfrage verstanden hat, sie aber verweigert. Bekommt ein KI-Crawler diesen Code, kann er den Inhalt der Seite nicht lesen, egal was in der robots.txt steht.
Der Code ist in der HTTP-Spezifikation RFC 9110 definiert. Er unterscheidet sich von 401, der eine Anmeldung verlangt, und von 404, der meldet, dass es die Seite nicht gibt. Ein 403 sagt: Die Seite existiert, aber dieser Anfrage wird sie nicht ausgeliefert.
Für KI-Sichtbarkeit ist der 403 das deutlichste Zeichen einer Sperre auf Serverebene. Typisch ist die Kombination, dass ein Browser Statuscode 200 bekommt und ein Crawler 403. Dann filtert eine Firewall, ein CDN oder ein Bot-Schutz nach User-Agent oder IP-Adresse.
In unserer Messung an 346 erreichbaren Websites deutscher Kleinunternehmen lieferten 15,9 Prozent dem GPTBot-User-Agent eine Sperre. Bei 12,7 Prozent bekam derselbe Aufruf mit Browser-Kennung gleichzeitig Status 200. Die zweite Zahl ist die aussagekräftigere, weil sie nur gezielte Sperren gegen den Crawler zählt.
Was das für deine Website heisst
Rufe deine Seite mit einem Crawler-User-Agent ab, etwa per curl mit der Option für den User-Agent, und lies den Statuscode. Ein 403 bei gleichzeitigem 200 im Browser ist ein gezielter Block. Der deeploupe GPTBot-Check zeigt beide Codes für GPTBot und ClaudeBot ohne Kommandozeile. Die Ausnahmeregel setzt du dann im Bot-Schutz deines Hosters oder CDN.
Verwandte Begriffe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte