Was ist ein User-Agent?
Ein User-Agent ist die Kennung, mit der sich ein Browser, Crawler oder anderes Programm bei jeder Anfrage an einen Webserver vorstellt. In der robots.txt bezeichnet der Begriff ausserdem das Token, für das eine Gruppe von Regeln gilt, etwa GPTBot.
Der Begriff hat zwei Bedeutungen, die man auseinanderhalten sollte. Im HTTP-Verkehr ist der User-Agent eine Zeichenkette im Anfrage-Header, oft lang und mit Versionsnummern. In der robots.txt ist es ein kurzes Token am Anfang einer Regelgruppe. Crawler ordnen sich der Gruppe zu, deren Token zu ihrem Namen passt.
Die Kennung ist freiwillig und nicht fälschungssicher. Jedes Programm kann sich als GPTBot oder Googlebot ausgeben. Deshalb veröffentlichen seriöse Betreiber zusätzlich IP-Bereiche, über die sich echte Abrufe prüfen lassen.
Für die KI-Sichtbarkeit ist der User-Agent der Punkt, an dem sich Sperren entscheiden. Firewalls und Bot-Schutz filtern häufig nach dieser Kennung. In unserer Messung an 346 erreichbaren Websites deutscher Kleinunternehmen lieferten 12,7 Prozent dem GPTBot-User-Agent eine Sperre, während derselbe Aufruf mit Browser-Kennung durchging.
Was das für deine Website heisst
Rufe deine Startseite einmal mit Browser-Kennung und einmal mit dem User-Agent eines KI-Crawlers ab und vergleiche den Statuscode. Unterscheiden sie sich, filtert etwas nach User-Agent. Der deeploupe GPTBot-Check macht diesen Vergleich für GPTBot und ClaudeBot automatisch und zeigt beide Antworten nebeneinander. Stimmen beide überein, liegt eine mögliche Sperre eher in der robots.txt.
Verwandte Begriffe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte