Was ist ai.txt?
ai.txt ist eine vorgeschlagene Textdatei im Stammverzeichnis einer Website, die festhalten soll, ob und wie KI-Systeme die Inhalte nutzen dürfen. Sie ist kein anerkannter Standard, wird von den großen KI-Crawlern nicht als verbindlich dokumentiert und hat keine belegte Wirkung auf Zitationen.
Die Idee hinter ai.txt ähnelt der von llms.txt: eine zusätzliche Datei neben robots.txt, die speziell an KI-Anbieter gerichtet ist. Es gibt mehrere, voneinander unabhängige Vorschläge unter diesem Namen, teils als Nutzungsvorbehalt für Trainingsdaten, teils als Wegweiser zu Inhalten. Keiner davon ist von einem Standardisierungsgremium verabschiedet.
Entscheidend ist, was die Crawler selbst dokumentieren. OpenAI, Anthropic, Perplexity und Google beschreiben die Steuerung ihrer Bots über robots.txt und die jeweiligen User-Agent-Namen. Eine ai.txt taucht in diesen Dokumentationen nicht als Steuerungsweg auf. Google schreibt ausdrücklich, dass für die KI-Funktionen der Suche keine besonderen Dateien oder Auszeichnungen nötig sind.
Daraus folgt nicht, dass die Datei schadet. Sie kostet wenig. Sie ersetzt aber keine robots.txt-Regel, und wer auf sie setzt, um in KI-Antworten sichtbar zu werden, setzt auf einen Mechanismus ohne Beleg.
Was das für deine Website heisst
Wer KI-Crawler zulassen oder sperren will, regelt das in der robots.txt mit den dokumentierten Namen wie GPTBot oder ClaudeBot und prüft danach, ob Hosting oder Bot-Schutz den Zugriff nicht trotzdem blockieren. Eine ai.txt kann zusätzlich liegen, sollte in einem Audit aber nicht als fehlender Pflichtpunkt gewertet werden.
Verwandte Begriffe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte