Hallucination
Hallucination คือผลลัพธ์จาก language model ที่มั่นใจแต่ไม่มีหลักฐานรองรับหรือถูกแต่งขึ้น เป็น claim ที่ฟังดูเป็นไปได้แต่ไม่มีฐานในหลักฐานที่ให้มาหรือความจริง Hallucination เป็นความเสี่ยงหลักในการทำให้งานความรู้เป็นอัตโนมัติ และ grounding ด้วยหลักฐานที่อ้างอิงได้คือวิธีลดความเสี่ยงสำคัญ
คำพ้องความหมาย: AI hallucination, การแต่งข้อมูล, confabulation, ผลลัพธ์ที่ไม่มี grounding
Hallucination เกิดขึ้นเมื่อความลื่นไหลแซงหน้าความจริง เพราะโมเดลปรับให้สร้างข้อความต่อเนื่องที่ดูเป็นไปได้ มันจึงสามารถสร้างชื่อ ตัวเลข หรือ citation เฉพาะที่ไม่เคยมีอยู่จริงได้ ในงานร่างข้อความความเสี่ยงต่ำ นี่เป็นเรื่องน่ารำคาญ แต่ใน work automation ที่มี governance นี่คือความล้มเหลวร้ายแรงที่อาจทำให้การตัดสินใจผิดหรือกระตุ้นการกระทำผิด แนวป้องกันอยู่ที่สถาปัตยกรรม: ดึงหลักฐานจริง จำกัดการสร้างให้อยู่กับหลักฐานนั้น แนบ citation และออกแบบเส้นทางชัดเจนสำหรับการปฏิเสธหรือ escalation เมื่อหลักฐานไม่สนับสนุนคำตอบ