Was ist ClaudeBot?
ClaudeBot ist der Webcrawler von Anthropic, der öffentliche Webinhalte sammelt, die laut Anthropic zum Training der Claude-Modelle beitragen können. Wer ClaudeBot in der robots.txt sperrt, signalisiert damit, dass künftige Inhalte der Website nicht in Trainingsdaten landen sollen.
Anthropic betreibt mehrere Abrufer mit getrennten Aufgaben. ClaudeBot dient dem Modelltraining. Claude-SearchBot baut einen Suchindex auf, und Claude-User ruft Seiten ab, wenn ein Mensch in Claude eine Frage stellt. Jeder davon hat ein eigenes robots.txt-Token, man kann sie also einzeln erlauben oder sperren.
Die Unterscheidung ist wichtig, weil eine Sperre gegen ClaudeBot etwas anderes bewirkt als eine Sperre gegen die beiden anderen. Laut Anthropic betrifft sie die Trainingsdaten. Die Doku nennt ausdrücklich, dass eine Sperre von Claude-SearchBot oder Claude-User die Sichtbarkeit in nutzergesteuerten Suchergebnissen verringern kann. Wer nur das Training ausschliessen will, sperrt also gezielt ClaudeBot und lässt die anderen durch.
Häufiger als eine bewusste Sperre ist eine unbeabsichtigte. Firewalls und Bot-Schutz beim Hoster liefern Crawlern oft einen Fehlercode, obwohl die robots.txt alles erlaubt. In unserer Messung an 346 erreichbaren Websites deutscher Kleinunternehmen bekamen 12,7 Prozent eine Sperre gegen den GPTBot-User-Agent, während ein normaler Browser die Seite erhielt. Für ClaudeBot zeigt sich dasselbe Muster, wenn der Bot-Schutz nach User-Agent filtert.
Was das für deine Website heisst
Prüfe zuerst die robots.txt auf eine Gruppe für ClaudeBot. Danach rufe die Startseite mit dem echten ClaudeBot-User-Agent ab und vergleiche mit einem Browser. Der kostenlose GPTBot-Check von deeploupe macht genau das: Er liest die robots.txt-Regeln und testet ClaudeBot und GPTBot live. Claude-SearchBot und Claude-User prüft er nicht, diese Tokens musst du in der robots.txt selbst nachsehen.
Verwandte Begriffe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte