Was ist Google-Extended?
Google-Extended ist kein eigener Crawler, sondern ein robots.txt-Token, mit dem Website-Betreiber steuern, ob von Google gecrawlte Inhalte für das Training künftiger Gemini-Modelle und für Grounding in Gemini Apps und Vertex AI genutzt werden dürfen. Die Aufnahme in die Google-Suche beeinflusst es laut Google nicht.
Google-Extended hat laut Google keinen eigenen HTTP-User-Agent. Gecrawlt wird mit den bestehenden Google-Crawlern, das Token wirkt nur als Steuerzeichen. Wer in den Server-Logs nach Google-Extended sucht, findet deshalb nichts, und das ist kein Fehler.
Die Wirkung ist enger, als viele annehmen. Google schreibt ausdrücklich, dass Google-Extended weder die Aufnahme einer Seite in die Google-Suche beeinflusst noch als Ranking-Signal dient. Die KI-Übersichten in der Google-Suche stützen sich auf den normalen Suchindex, den Googlebot aufbaut. Eine Sperre von Google-Extended nimmt eine Seite also nicht aus der Google-Suche heraus.
Was das Token regelt, ist die Nutzung für Gemini-Modelle und für Grounding in Gemini Apps und Grounding mit Google Search auf Vertex AI. Wer dort nicht auftauchen will, sperrt Google-Extended. Wer in der Google-Suche sichtbar bleiben will, darf Googlebot nicht sperren.
Was das für deine Website heisst
Entscheide getrennt: Googlebot für die Suche, Google-Extended für Gemini-Training und Grounding. Der deeploupe GPTBot-Check liest die robots.txt-Regel für Google-Extended aus. Einen Live-Test gibt es dafür nicht und kann es nicht geben, weil kein eigener User-Agent existiert. Ob die Sperre wirkt, zeigt sich deshalb nur in der Datei selbst, nicht in einem Abruf und nicht in den Server-Logs.
Verwandte Begriffe
Weiter auf deeploupe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte