Was ist Antwortvarianz bei KI-Suchmaschinen?
Antwortvarianz bezeichnet die Tatsache, dass ein Sprachmodell auf dieselbe Frage bei wiederholter Abfrage unterschiedliche Antworten gibt, mit anderen Formulierungen, anderen Quellen und anderen genannten Marken. Sie ist der Grund, warum eine einzelne Abfrage keine stabile Aussage über Sichtbarkeit trägt.
Ein Teil der Schwankung ist gewollt: Modelle wählen beim Erzeugen von Text aus mehreren wahrscheinlichen Fortsetzungen. Aber auch mit Einstellungen, die das eigentlich ausschalten sollen, bleiben Antworten nicht identisch. Thinking Machines Lab hat denselben Prompt 1.000-mal bei Temperatur 0 gestellt und 80 verschiedene Antworten erhalten; als Ursache nennt die Untersuchung Rechenungenauigkeiten bei der gebündelten Verarbeitung auf Grafikprozessoren.
Bei KI-Suchmaschinen kommt eine zweite Quelle der Varianz hinzu. Die Websuche im Hintergrund liefert je nach Zeitpunkt, Formulierung und Index andere Treffer, und damit ändern sich auch die zitierten Seiten und die genannten Anbieter.
Für Messungen heisst das: Eine Nennung in einem Lauf ist ein harter Beleg dafür, dass die Engine die Marke nennen kann. Das Fehlen in einem Lauf beweist dagegen nicht, dass sie es nie tut.
Was das für deine Website heisst
Plane Messungen so, dass jede Frage mehrfach gestellt wird, und berichte Häufigkeiten statt Einzelergebnisse. Vergleiche nie einen einzelnen Lauf von heute mit einem einzelnen Lauf vom letzten Monat und lies einen Unterschied als Entwicklung. Wer nur einen Lauf hat, sollte ihn als Momentaufnahme kennzeichnen, so wie der Gratis-ChatGPT-Check von deeploupe es tut.
Verwandte Begriffe
Weiter auf deeploupe
Quellen
Begriffe helfen beim Verstehen. Ob KI-Crawler deine Seite erreichen, zeigt die Messung.
Website gratis prüfenkostenlos · keine Anmeldung · keine Kreditkarte