Галлюцинация
Галлюцинация — это уверенный, но неподтверждённый или сфабрикованный вывод языковой модели — утверждение, которое звучит правдоподобно, но не имеет основания в предоставленном свидетельстве или реальности. Галлюцинации — это центральный риск при автоматизации интеллектуальной работы, а заземление с цитируемыми свидетельствами — основное средство их смягчения.
Синонимы: AI hallucination, fabrication, confabulation, ungrounded output
Галлюцинация — это то, что происходит, когда беглость опережает истину. Поскольку модель оптимизирует правдоподобные продолжения, она может выдать конкретные имена, числа или цитаты, которые никогда не были реальными. В низкорисковом черновике это досада; в управляемой автоматизации работы это серьёзный сбой, который может ввести в заблуждение решение или запустить неверное действие. Защита архитектурна: извлекать реальное свидетельство, ограничивать им генерацию, прикреплять цитаты и проектировать явный путь для отказа или эскалации, когда свидетельство не подкрепляет ответ.