Warum Modelle halluzinieren
Kein Fehler, sondern eine Folge der Bauart: woher erfundene Angaben kommen, welche Signale sie ankündigen und was tatsächlich dagegen hilft.
Die Idee
Ein Modell wählt jedes Wort so, dass es gut zum bisherigen Text passt. Es hat kein Verzeichnis, in dem steht, was es weiß und was nicht. Wenn keine passende Information vorliegt, entsteht trotzdem eine plausible Fortsetzung: nur eben eine erfundene.
Das erklärt auch, warum erfundene Angaben besonders überzeugend klingen: Genau darauf ist das Verfahren ausgelegt.
Wo es besonders häufig passiert
- Bei Aktenzeichen, Paragrafen, Normen und Fundstellen.
- Bei Zahlen, Jahresangaben und Statistiken.
- Bei Zitaten und Quellenangaben.
- Bei sehr speziellen Fachfragen, zu denen wenig Text existiert.
- Bei Fragen, die eine falsche Voraussetzung enthalten.
Was wirklich hilft
| Maßnahme | Wirkung | Aufwand |
|---|---|---|
| Abruf mit Zitierpflicht | sehr groß | mittel |
| Nachprüfung der Zitate gegen die Quelle | groß | mittel |
| „Wenn nicht in den Quellen, sage es" | groß | gering |
| Niedrige Temperatur bei Faktenfragen | mittel | keiner |
| Selbstkonsistenz über mehrere Läufe | mittel | hoch |
| Werkzeuge für Zahlen und Termine | groß, im Bereich | gering |
| Höflicher Hinweis im Prompt | gering | keiner |
Die letzte Zeile ist die häufigste Maßnahme und die schwächste. „Erfinde nichts" im Prompt senkt die Rate messbar, aber weit weniger als eine Erdung an echten Quellen.
Ein Signal aus der Verteilung
import numpy as np
def unsicherheit(logprobs_je_token):
"""Mittlere negative Log-Wahrscheinlichkeit der gewaehlten Token.
Hohe Werte deuten auf Raten hin."""
return float(-np.mean(logprobs_je_token))
# Praktisch: Schwelle auf einem eigenen Bewertungssatz bestimmen und
# darueberliegende Antworten zur Pruefung ausleiten.Warum es strukturell ist
In dieser Zielfunktion kommt Wahrheit nicht vor. Ein Modell, das die Textverteilung perfekt nachbildet, gibt auch die Häufigkeit falscher Aussagen im Trainingsmaterial wieder. Zusätzlich gilt: Bei einer Frage, zu der die Daten keine Information enthalten, ist jede Fortsetzung gleich wahrscheinlich: das Modell würfelt, und das Ergebnis klingt sicher.
Zwei Arten von Unsicherheit
| Art | Ursache | Erkennbar an |
|---|---|---|
| Aleatorisch | Die Frage ist mehrdeutig | Hohe Entropie über alle Läufe hinweg |
| Epistemisch | Das Modell weiß es nicht | Hohe Streuung zwischen mehreren Läufen |
Die zweite ist die relevante. Sie lässt sich messen, indem dieselbe Frage mehrfach mit Temperatur über null gestellt und die Übereinstimmung der Antworten ausgewertet wird. Eine geringe Übereinstimmung bei einer Faktenfrage ist ein starkes Warnsignal, unabhängig davon, wie sicher jede einzelne Antwort klingt.
Erdung messen
Diese Größe lässt sich automatisiert schätzen: Die Antwort in einzelne Aussagen zerlegen und jede gegen die gelieferten Ausschnitte prüfen. Eine Treue unter 0,9 bedeutet, dass jede zehnte Aussage unbelegt ist, für eine Rechtsauskunft oder eine medizinische Information ist das nicht tragfähig.
Das Recht auf Nichtantwort
Die wirksamste einzelne Maßnahme ist, Nichtantworten ausdrücklich zuzulassen und zu belohnen. Ein System, das in 8 Prozent der Fälle sagt „das steht nicht in den mir vorliegenden Unterlagen", ist brauchbarer als eines, das immer antwortet und in 8 Prozent der Fälle falsch liegt. Die Ablehnungsquote gehört deshalb als Kennzahl geführt, nicht als Mangel behandelt. Siehe Fehlersuche.