Was ist PerplexityBot?
PerplexityBot ist der Crawler von Perplexity, der Websites findet und in den Suchergebnissen von Perplexity verlinkt. Laut Perplexity wird er nicht eingesetzt, um Inhalte für das Training von KI-Grundmodellen zu sammeln.
Perplexity ist eine Antwortmaschine, die fast jede Antwort mit Quellen belegt. Damit eine Seite als Quelle infrage kommt, muss sie auffindbar sein, und dafür ist PerplexityBot zuständig. Perplexity empfiehlt ausdrücklich, ihn in der robots.txt zu erlauben und Anfragen aus den veröffentlichten IP-Bereichen zuzulassen.
Der zweite Teil dieser Empfehlung wird oft übersehen. Eine Firewall kann Anfragen blockieren, obwohl die robots.txt sie erlaubt. Perplexity weist in der Doku darauf hin, dass Betreiber einer Web Application Firewall die Bots gegebenenfalls ausdrücklich freigeben müssen.
Neben PerplexityBot gibt es Perplexity-User, der Seiten abruft, wenn ein Mensch eine Frage stellt. Beide haben unterschiedliche Regeln. Eine Sperre von PerplexityBot beeinflusst, ob deine Seite in Perplexitys Suche auftaucht, nicht jeden einzelnen Abruf durch Nutzeranfragen.
Was das für deine Website heisst
Prüfe, ob deine robots.txt PerplexityBot erlaubt, und ob dein Hoster oder CDN Anfragen mit diesem User-Agent durchlässt. Der deeploupe GPTBot-Check liest die robots.txt-Regel für PerplexityBot aus. Einen Live-Abruf mit dem PerplexityBot-User-Agent macht er nicht; eine Firewall-Sperre gegen genau diesen Bot würde er also nicht sehen. Dafür hilft ein Blick in die Server-Logs: Tauchen dort Anfragen von PerplexityBot mit Fehlercode auf, liegt die Sperre auf Serverebene.
Verwandte Begriffe
Weiter auf deeploupe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte