Ist GPTBot auf meiner Website blockiert?
Zwei Dinge sperren GPTBot aus: eine robots.txt-Regel wie „User-agent: GPTBot“ mit „Disallow: /“, oder ein Server, CDN oder eine Firewall, die dem GPTBot-User-Agent einen Fehler liefert, während Browser die Seite bekommen. Das Zweite fällt kaum auf. In unserer Stichprobe vom Juli 2026 taten das 44 von 346 erreichbaren Websites kleiner Unternehmen. Gib deine Domain ein, wir testen beides live und zeigen den HTTP-Status als Beleg.
Gratis, ohne Anmeldung. GPTBot steuert, ob OpenAI deine Seiten fürs Training nutzen darf. Ob du in der ChatGPT-Suche erscheinst, steuert getrennt davon OAI-SearchBot, siehe Tabelle unten.
Rein HTTP: Wir lesen deine robots.txt je Bot und rufen deine Startseite mit dem echten GPTBot- und ClaudeBot-User-Agent ab (Kontrolle: normaler Browser). Keine KI, keine Kosten, keine Anmeldung.
So funktioniert’s
1. Domain eingeben
Wir holen deine robots.txt und lesen die Regeln für jeden AI-Crawler beim Namen.
2. Wir testen den echten Crawler
Wir rufen deine Startseite mit dem echten GPTBot- & ClaudeBot-User-Agent ab und vergleichen mit einem normalen Browser.
3. Sieh den HTTP-Beleg
Blockiert oder zugänglich — mit dem exakten Status-Code. 403 an den Bot, 200 an den Browser = der stille Hosting-/WAF-Block.
Welche KI-Crawler es gibt und was eine Sperre bewirkt
Jede Zeile gibt die Doku des jeweiligen Anbieters wieder (nachgelesen am 16. September 2026, verlinkt am Token). Die letzte Spalte sagt ehrlich, welche davon unser Gratis-Check prüft.
| Token | Anbieter | Wofür | Wenn gesperrt | Unser Check |
|---|---|---|---|---|
| GPTBot | OpenAI | Sammelt Inhalte, die für das Training von OpenAIs Modellen verwendet werden können. | Deine Inhalte sollen nicht ins Training. Die Anzeige in der ChatGPT-Suche steuert ein anderer Crawler. | robots.txt + Live-Test |
| OAI-SearchBot | OpenAI | Findet Websites für die Suchfunktion in ChatGPT. | Die Seite erscheint laut OpenAI nicht mehr in Suchantworten von ChatGPT, höchstens noch als Navigationslink. | nicht geprüft |
| ChatGPT-User | OpenAI | Ruft eine Seite ab, wenn ein Mensch in ChatGPT danach fragt. Crawlt nicht selbständig. | Laut OpenAI gelten robots.txt-Regeln hier möglicherweise nicht, weil ein Mensch den Abruf auslöst. | nicht geprüft |
| ClaudeBot | Anthropic | Sammelt Inhalte, die zum Training von Anthropics Modellen beitragen können. | Künftige Inhalte der Seite sollen aus Anthropics Trainingsdaten herausbleiben. | robots.txt + Live-Test |
| Claude-SearchBot | Anthropic | Liest Inhalte, um Suchergebnisse in Claude zu verbessern. | Die Seite wird laut Anthropic nicht für die Suche indexiert, was ihre Sichtbarkeit in Claude-Suchantworten verringern kann. | nicht geprüft |
| Claude-User | Anthropic | Ruft eine Seite ab, wenn ein Mensch Claude eine Frage stellt. | Claude kann die Seite für solche Nutzeranfragen nicht abrufen. | nicht geprüft |
| anthropic-ai | Anthropic | Älteres Token, das in manchen robots.txt-Dateien noch steht. In Anthropics aktueller Crawler-Doku steht es nicht mehr. | Wirkung laut aktueller Doku nicht beschrieben. Wer Anthropic steuern will, nutzt die drei Tokens darüber. | nur robots.txt |
| PerplexityBot | Perplexity | Findet und verlinkt Websites in Perplexity-Suchergebnissen. Laut Perplexity nicht für Modelltraining. | Perplexity empfiehlt, den Bot zuzulassen, damit die Seite in Suchergebnissen erscheint. | nur robots.txt |
| Perplexity-User | Perplexity | Ruft eine Seite ab, wenn ein Mensch Perplexity fragt, und verlinkt sie in der Antwort. | Steuert, welche Seiten solche Nutzeranfragen erreichen dürfen. | nicht geprüft |
| Google-Extended | Kein eigener Crawler, sondern ein robots.txt-Token: steuert, ob Inhalte für Gemini-Training und Grounding genutzt werden. | Laut Google ohne Einfluss auf die Aufnahme in die Google-Suche. | nur robots.txt | |
| CCBot | Common Crawl | Baut das offene Web-Archiv von Common Crawl, das frei zugänglich ist und auch für KI-Training genutzt wird. | Die Seite wird für künftige Common-Crawl-Archive nicht mehr eingelesen. | nur robots.txt |
Zuletzt geprüfte Domains
Live-GPTBot/ClaudeBot-Crawlbarkeits-Checks, die andere schon gelaufen sind — sieh, welche Seiten AI-Crawler reinlassen.
FAQ
- Hält ein GPTBot-Block meine Website aus ChatGPT heraus?
- Für sich genommen nicht, laut OpenAI. GPTBot sammelt Inhalte, die fürs Training genutzt werden können, OAI-SearchBot findet Seiten für die ChatGPT-Suche, und OpenAI schreibt ausdrücklich, dass beide Einstellungen unabhängig voneinander sind. Eine Sperre im Server, CDN oder in der Firewall ist etwas anderes: Sie trifft jeden User-Agent, auf den die Regel passt. Unser Check testet GPTBot und ClaudeBot live, OAI-SearchBot nicht.
- Wie prüfe ich, ob GPTBot blockiert ist?
- In zwei Schritten. Öffne deinedomain.de/robots.txt und such nach einer Gruppe „User-agent: GPTBot“ oder „User-agent: *“ mit „Disallow: /“. Dann ruf deine Startseite mit dem GPTBot-User-Agent ab und vergleiche den HTTP-Status mit einem normalen Browser-Abruf. Ein Fehler für den Bot und 200 für den Browser deutet auf eine Bot-Regel in CDN, Firewall oder Hosting. Der Gratis-Check oben macht beide Schritte.
- Heißt ein Block, dass ich ChatGPT bewusst aussperre?
- Meist nicht. Unsere Daten über hunderte Kleinunternehmens-Seiten: nur ~3,7 % sperren AI-Crawler bewusst per robots.txt, aber ~12,7 % liefern dem GPTBot still ein 403, während der Browser die Seite bekommt.
- Wie entsperre ich GPTBot?
- Sperrt die robots.txt, entfernst oder verengst du die „Disallow“-Regel in der GPTBot-Gruppe. Sperrt der Server, suchst du den Bot-Schutz in CDN, Firewall oder Hosting-Einstellungen und lässt die verifizierten OpenAI-Crawler zu; OpenAI veröffentlicht deren IP-Bereiche. Ob GPTBot deine Inhalte fürs Training nutzen darf, entscheidest du. Für die ChatGPT-Suche ist OAI-SearchBot der Crawler, den du zulassen solltest.
- Welche Crawler prüft ihr?
- robots.txt-Regeln für GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot und anthropic-ai, dazu einen Live-HTTP-Test für GPTBot und ClaudeBot. OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User und Perplexity-User prüfen wir nicht; die Tabelle zeigt, was jeder davon tut.
- Muss ich mich anmelden?
- Nein. Der Check braucht kein Konto und keine Kreditkarte.