Was ist OAI-SearchBot?
OAI-SearchBot ist der Crawler von OpenAI, der Websites für die Suchfunktionen in ChatGPT erfasst. Laut OpenAI werden Seiten, die OAI-SearchBot in der robots.txt ausschliessen, nicht in ChatGPT-Suchantworten angezeigt; er dient nicht dem Training von Modellen.
Während GPTBot Inhalte für das Modelltraining sammelt, sorgt OAI-SearchBot dafür, dass Seiten in den Suchergebnissen von ChatGPT auftauchen und als Quelle verlinkt werden können. Die beiden Crawler lassen sich in der robots.txt unabhängig voneinander steuern. Eine Seite kann also das Training ausschliessen und trotzdem für die Suche erreichbar bleiben.
Für die Frage, ob eine Seite in aktuellen ChatGPT-Antworten mit Websuche als Quelle erscheinen kann, ist OAI-SearchBot damit der entscheidendere Crawler. OpenAI weist in seiner Dokumentation zugleich darauf hin, dass auch bei einer Sperre ein reiner Navigationslink zur Seite in Antworten auftauchen kann, etwa wenn nach der Website selbst gefragt wird.
Wie bei allen Crawlern gilt: Eine erlaubende robots.txt hilft nichts, wenn eine Firewall oder ein Bot-Schutz die Anfragen auf Serverebene abweist.
Was das für deine Website heisst
Sieh in deiner robots.txt nach, ob OAI-SearchBot ausdrücklich oder über eine allgemeine Regel für alle Crawler ausgeschlossen ist, und prüfe in den Serverlogs, ob Anfragen dieses User-Agents erfolgreich beantwortet werden. Der Gratis-GPTBot-Check von deeploupe testet OAI-SearchBot nicht; er prüft GPTBot und ClaudeBot live. Für OAI-SearchBot bleiben robots.txt und Logs der Weg.
Verwandte Begriffe
Weiter auf deeploupe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte