Halluzination
Eine Halluzination ist eine selbstbewusste, aber nicht belegte oder erfundene Ausgabe eines Sprachmodells – eine Aussage, die plausibel klingt, aber keine Grundlage in den bereitgestellten Belegen oder der Realität hat. Halluzinationen sind das zentrale Risiko bei der Automatisierung von Wissensarbeit, und Erdung mit zitierten Belegen ist die wichtigste Gegenmaßnahme.
Synonyme: AI hallucination, fabrication, confabulation, ungrounded output
Halluzination ist das, was geschieht, wenn die Sprachgewandtheit der Wahrheit davonläuft. Da ein Modell auf plausible Fortsetzungen optimiert, kann es spezifische Namen, Zahlen oder Zitate erzeugen, die nie real waren. Beim Verfassen mit geringem Einsatz ist das ein Ärgernis; in der geregelten Arbeitsautomatisierung ist es ein schwerwiegender Fehler, der eine Entscheidung in die Irre führen oder eine falsche Aktion auslösen kann. Die Verteidigungen sind architektonisch: reale Belege abrufen, die Generierung darauf beschränken, Zitierungen beifügen und einen expliziten Pfad gestalten, um abzulehnen oder zu eskalieren, wenn die Belege eine Antwort nicht stützen.