Was ist Claude-SearchBot?
Claude-SearchBot ist ein Crawler von Anthropic, der Webseiten durchsucht, um die Qualität der Suchergebnisse in Claude zu verbessern. Wird er in der robots.txt gesperrt, kann Anthropic die Inhalte nicht für die Suche indexieren, was laut Anthropic die Sichtbarkeit in Suchergebnissen verringern kann.
Anthropic trennt Training und Suche. ClaudeBot sammelt Inhalte für das Modelltraining, Claude-SearchBot arbeitet für die Suchfunktion. Das gleiche Muster gibt es bei OpenAI mit GPTBot und OAI-SearchBot. Für Website-Betreiber heisst das: Man kann dem Training widersprechen und trotzdem in den Antworten mit Websuche auftauchen.
Claude-SearchBot hat ein eigenes robots.txt-Token. Eine Regel für ClaudeBot gilt nicht automatisch für ihn, und eine pauschale Sperre für alle Bots trifft ihn mit. Genau diese pauschalen Sperren entstehen oft aus Vorlagen, die vor der Trennung von Training und Suche geschrieben wurden.
Anthropic beschreibt in seiner Doku nur, was eine Sperre bewirkt, nicht wie stark sich eine Freigabe auf Nennungen auswirkt. Eine erlaubte Seite wird nicht automatisch zitiert. Sie wird nur überhaupt erst lesbar.
Was das für deine Website heisst
Öffne deine robots.txt und suche nach einer Gruppe für Claude-SearchBot und nach einer Gruppe mit User-agent: *, die alles sperrt. Wenn du in Claude mit Websuche auftauchen willst, darf keine davon den Zugriff verbieten. Der deeploupe GPTBot-Check prüft dieses Token nicht; er testet GPTBot und ClaudeBot live und liest einige weitere Tokens aus der robots.txt. Für Claude-SearchBot bleibt der Blick in die Datei.
Verwandte Begriffe
Weiter auf deeploupe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte