Halucynacja
Halucynacja to pewny siebie, ale niewsparty lub zmyślony wynik modelu językowego, twierdzenie, które brzmi wiarygodnie, lecz nie ma podstawy w dostarczonych dowodach ani rzeczywistości. Halucynacje są głównym ryzykiem w automatyzacji pracy z wiedzą, a grounding z cytowanymi dowodami jest podstawową mitigacją.
Synonimy: halucynacja AI, fabrykacja, konfabulacja, nieugruntowany wynik
Halucynacja wydarza się wtedy, gdy płynność wyprzedza prawdę. Ponieważ model optymalizuje prawdopodobne kontynuacje, może generować konkretne nazwy, liczby lub cytacje, które nigdy nie istniały. W szkicowaniu o niskiej stawce to uciążliwość; w governowanej automatyzacji pracy to twarda awaria, która może zmylić decyzję lub wywołać błędne działanie. Obrony są architektoniczne: pobierz realne dowody, ogranicz generację do nich, dołącz cytacje i zaprojektuj jawną ścieżkę odmowy albo eskalacji, gdy dowody nie wspierają odpowiedzi.