Was ist GPTBot?
GPTBot ist der Webcrawler von OpenAI, der öffentlich zugängliche Seiten abruft, um Inhalte für das Training künftiger Modelle zu sammeln. Website-Betreiber können ihn über das User-Agent-Token GPTBot in der robots.txt ausschliessen, getrennt von den anderen OpenAI-Crawlern.
OpenAI dokumentiert mehrere Crawler mit unterschiedlichen Aufgaben. GPTBot ist der für Trainingsdaten. Laut OpenAI signalisiert eine Sperre von GPTBot, dass die Inhalte einer Seite nicht für das Training generativer Modelle verwendet werden sollen. Die Suchfunktion in ChatGPT nutzt dagegen einen eigenen Crawler, OAI-SearchBot, und nutzerausgelöste Abrufe laufen über ChatGPT-User.
Deshalb hat eine Sperre von GPTBot eine andere Wirkung, als oft angenommen: Sie betrifft zunächst das Training, nicht direkt, ob eine Seite in einer aktuellen ChatGPT-Suchantwort auftauchen kann. Wer alle OpenAI-Zugriffe unterbinden will, muss die Tokens einzeln regeln.
In der Praxis kommen viele Sperren gar nicht aus der robots.txt, sondern aus Bot-Schutz auf Hosting- oder CDN-Ebene. Der Crawler bekommt dann eine Fehlerseite, während normale Browser die Seite sehen, und der Betreiber weiss oft nichts davon.
Was das für deine Website heisst
Prüfe zwei Dinge getrennt: was deine robots.txt für GPTBot festlegt und was der Server tatsächlich an eine Anfrage mit dem GPTBot-User-Agent ausliefert. Der Gratis-GPTBot-Check von deeploupe liest die robots.txt-Regeln und ruft die Startseite live mit dem GPTBot-User-Agent und einem normalen Browser zum Vergleich ab. OAI-SearchBot und ChatGPT-User testet er nicht.
Verwandte Begriffe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte