Hallucination
Hallucination은 언어 모델이 자신 있게 내놓지만 지원되지 않거나 조작된 출력입니다. 그럴듯하게 들리지만 제공된 증거나 현실에 근거가 없는 주장입니다. Hallucination은 지식 업무 자동화의 핵심 위험이며, 인용된 증거로 grounding하는 것이 주요 완화책입니다.
동의어: AI hallucination, fabrication, confabulation, ungrounded output
Hallucination은 유창함이 진실을 앞지를 때 발생합니다. 모델은 그럴듯한 이어쓰기를 최적화하므로, 실제로 존재하지 않았던 구체적 이름, 숫자, 인용을 만들어낼 수 있습니다. 낮은 위험의 초안 작성에서는 불편함에 그치지만, 거버넌스 업무 자동화에서는 결정을 오도하거나 잘못된 작업을 트리거할 수 있는 심각한 실패입니다. 방어는 아키텍처적입니다. 실제 증거를 검색하고, 생성을 그것에 제한하고, 인용을 첨부하며, 증거가 답변을 뒷받침하지 않을 때 거절하거나 escalation하는 명시적 경로를 설계해야 합니다.
자주 묻는 질문
언어 모델은 왜 hallucination을 하나요?
모델은 검증된 사실이 아니라 그럴듯한 텍스트를 예측합니다. 검색된 증거가 제약하지 않으면, 빈틈을 통계적으로 그럴듯하지만 검증되지 않은 문장으로 채웁니다.
Hallucination을 어떻게 줄이나요?
답변을 검색된 출처에 grounding하고, 인용을 요구하며, 주장을 증거와 대조해 검증하고, 낮은 confidence나 지원되지 않는 사례는 추측을 반환하지 말고 사람에게 라우팅합니다.