OpenAI 인정: AI 환각은 근본적인 훈련 오류 때문

OpenAI는 자사의 대규모 언어 모델에서 발생하는 '환각' 현상이 우연이 아니라 훈련 방식의 근본적인 결함 때문이라는 논문을 발표했습니다. 모델은 모르는 것을 인정하는 것보다 추측하는 것을 우선하도록 훈련되었는데, 이는 현재 평가 시스템에서 더 높은 점수를 얻게 하기 때문입니다. 논문에서는 연구자의 생일을 찾는 예시를 통해 훈련 메커니즘이 어떻게 잘못된 답변으로 이어지는지 보여줍니다. OpenAI는 주류 평가 방식이 이러한 '환각' 행동을 조장하고 있다는 것을 인정하며, 모델이 더 자주 '모르겠습니다'라고 답하도록 하는 등 훈련 메커니즘을 개선하고 있다고 밝혔지만, 문제를 완전히 해결하는 것은 여전히 과제로 남아 있습니다.