幻觉
幻觉是语言模型输出的一种自信但无依据或捏造的内容——一项听起来貌似可信、却在所提供证据或现实中毫无依据的主张。幻觉是自动化知识工作中的核心风险，而以引用证据进行接地是首要的缓解措施。
同义词：AI hallucination, fabrication, confabulation, ungrounded output
幻觉发生在流畅度超越真实性之时。由于模型为貌似可信的续写而优化，它可能产生从未真实存在的具体姓名、数字或引用。在低风险的草拟中这只是一种烦扰；而在受治理的工作自动化中，这是一种严重失败，可能误导决定或触发错误的操作。其防御是架构性的：检索真实证据、将生成约束于此、附上引用，并设计一条明确的路径，以便在证据不支持答案时拒绝作答或上报。
常见问题
语言模型为什么会产生幻觉？
模型预测的是可能的文本，而非经过验证的事实。在没有检索证据约束的情况下，它们会用统计上貌似可信但未经验证的陈述来填补空白。
如何减少幻觉？
将答案接地于检索到的来源，要求引用，依据证据核查主张，并将低置信度或无依据的情形路由给人员，而不是返回一个猜测。