Was ist Logfile-Analyse?
Logfile-Analyse ist die Auswertung der Serverprotokolle einer Website, um zu sehen, welche Crawler tatsächlich welche Seiten abgerufen haben und welche Statuscodes sie bekamen. Für KI-Sichtbarkeit zeigt sie, ob GPTBot, ClaudeBot oder PerplexityBot überhaupt vorbeikommen.
Jede Anfrage an einen Webserver hinterlässt eine Zeile: Zeitpunkt, angefragter Pfad, Statuscode, User-Agent und IP-Adresse. Aus diesen Zeilen lässt sich ablesen, wie oft ein Bot kommt, welche Bereiche er meidet und ob er Fehler oder Sperren erhält.
Die Aussage hat eine Grenze: Der User-Agent ist frei wählbar. Wer sicher sein will, dass eine Anfrage wirklich von einem bestimmten Crawler stammt, gleicht die IP-Adresse mit den veröffentlichten Adressbereichen des Anbieters ab oder nutzt einen Reverse-DNS-Abgleich, wie Google es für seine Crawler beschreibt.
Auf vielen Hosting-Angeboten kommen die Protokolle nur unvollständig an, etwa weil ein CDN oder eine Web Application Firewall Anfragen schon vorher beantwortet oder abweist. Eine gesperrte Anfrage taucht dann im Serverlog gar nicht auf, obwohl der Bot es versucht hat.
Was das für deine Website heisst
Wer keinen Zugriff auf Logs hat oder den vorgelagerten Schutz nicht einsehen kann, kann den Zugriff von außen nachstellen: die Startseite einmal mit dem User-Agent des Crawlers und einmal wie ein normaler Browser abrufen und die Statuscodes vergleichen. Das ersetzt keine Logs, zeigt aber eine stille Sperre sofort. Liefert der Bot einen Fehler, der Browser aber die Seite, liegt die Ursache fast immer vor dem Server.
Verwandte Begriffe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte