幻覺
Hallucination 係 language model 輸出一個自信但冇支持、甚至捏造嘅內容 — 聽落合理，但喺提供嘅 evidence 或現實入面冇根據。Hallucinations 係自動化 knowledge work 嘅核心風險，而有 cited evidence 嘅 grounding 係主要 mitigation。
同義詞：AI hallucination, fabrication, confabulation, ungrounded output
Hallucination 就係流暢度跑贏真相時發生嘅事。因為 model 優化嘅係 plausible continuations，佢可以產生從未真實存在嘅具體名稱、數字或者 citations。喺 low-stakes drafting 入面，呢個係麻煩；喺 governed work automation 入面，呢個係 hard failure，可能誤導 decision 或 trigger 錯誤 action。防線係 architecture：retrieve 真正 evidence，限制 generation 只用 evidence，附上 citations，並設計清楚路徑，喺 evidence 唔支持答案時拒絕或者 escalate。
常見問題
點解 language models 會 hallucinate？
Models 預測可能嘅文字，而唔係 verified facts。冇 retrieved evidence 限制時，佢哋會用統計上合理但未驗證嘅 statements 填補空白。
點樣減少 hallucination？
將 answers grounded 喺 retrieved sources，要求 citations，對照 evidence verify claims，並將 low-confidence 或 unsupported cases route 畀人，而唔係回傳猜測。