OpenAI揭示ChatGPT“幻觉”的数学根源：难以根治的缺陷？

OpenAI最新研究论文揭示了ChatGPT等大型语言模型产生“幻觉”（即编造事实）的根本原因：这并非训练方法的缺陷，而是数学上不可避免的。即使拥有完美数据，基于概率预测的语言模型也会累积错误，导致幻觉率远高于简单是非题的错误率。研究还发现，评估标准的缺陷也加剧了问题：现有基准测试惩罚不确定性回答，导致模型宁可乱猜也不承认无知。虽然OpenAI提出了一种基于置信度阈值的解决方案，但这会显著降低用户体验，并大幅增加计算成本，在注重速度和低成本的消费级应用中难以实现。因此，除非商业激励发生转变，否则大型语言模型的“幻觉”问题将持续存在。