ハルシネーション
ハルシネーションとは、言語モデルによる、自信に満ちているが裏付けがないか捏造された出力です――もっともらしく聞こえるが、与えられた証拠にも現実にも根拠のない主張です。ハルシネーションは知識労働の自動化における中心的なリスクであり、引用された証拠によるグラウンディングが主要な緩和策です。
同義語: AI hallucination, fabrication, confabulation, ungrounded output
ハルシネーションは、流暢さが真実を追い越したときに起こります。モデルはもっともらしい続きへ最適化するため、決して実在しなかった具体的な名前・数値・引用を生成しうります。低リスクの下書きでは厄介事ですが、ガバナンスされた業務自動化では、判断を誤らせたり誤ったアクションを起動したりしうる重大な失敗です。防御はアーキテクチャ的です。実在の証拠を検索し、生成をそれへ制約し、引用を添付し、証拠が回答を支えないときに辞退またはエスカレーションする明示的な経路を設計します。
よくある質問
言語モデルはなぜハルシネーションを起こすのですか？
モデルは検証された事実ではなく、もっともらしいテキストを予測します。それらを制約する検索された証拠がなければ、統計的にもっともらしいが未検証の文でギャップを埋めます。
ハルシネーションをどう減らしますか？
回答を検索されたソースに根拠づけ、引用を要求し、主張を証拠と照合して検証し、低信頼度または裏付けのないケースを、推測を返す代わりに人へ回送します。