Was ist die robots.txt?
Die robots.txt ist eine Textdatei im Wurzelverzeichnis einer Website, in der Betreiber festlegen, welche Crawler welche Bereiche abrufen dürfen. Das Format ist als Robots Exclusion Protocol bei der IETF standardisiert. Die Regeln sind eine Bitte an Crawler, keine technische Zugangssperre.
Die Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen und enthält Allow- und Disallow-Regeln für Pfade. Ein Crawler folgt der Gruppe, die seinen Namen am genauesten trifft, und fällt sonst auf die Gruppe mit dem Stern zurück. RFC 9309 hält ausdrücklich fest, dass diese Regeln keine Form der Zugriffsberechtigung sind.
Für KI-Crawler ist die robots.txt der offizielle Steuerweg. OpenAI, Anthropic, Perplexity, Google und Apple dokumentieren jeweils eigene Tokens; bei OpenAI, Anthropic, Google und Apple lassen sich damit Training und Suche getrennt steuern. Die Datei regelt aber nur, was ein Crawler abrufen soll, nicht ob er in einer Antwort genannt wird.
Bewusste Sperren gegen KI-Crawler sind seltener als gedacht. In unserer Messung sperrten 3,7 Prozent von 327 Websites deutscher Kleinunternehmen mit auswertbarer robots.txt einen KI-Crawler namentlich vollständig. Dieselbe Stichprobe zeigte deutlich mehr Sperren auf Serverebene, die in keiner robots.txt stehen.
Was das für deine Website heisst
Öffne deinedomain.de/robots.txt im Browser und lies die Gruppen für GPTBot, ClaudeBot, PerplexityBot, Google-Extended und den Stern. Eine Zeile Disallow mit einem Schrägstrich sperrt alles. Der deeploupe GPTBot-Check liest die Regeln für sechs KI-Tokens aus und prüft zusätzlich live, ob der Server GPTBot und ClaudeBot tatsächlich durchlässt.
Verwandte Begriffe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte