微调新知识上的 LLM 会助长幻觉吗？ (arxiv.org)

微调后的大型语言模型在遇到从未接受过预训练的事实信息时，可能会出现虚构事实性错误响应的行为。在本文中，我们研究了暴露于新知识对微调模型利用其已有知识能力的影响。为此，我们设计了一个受控设置，专注于闭卷问答，其中我们改变了引入新知识的微调示例的比例。我们证明，大型语言模型难以通过微调获取新的事实知识，因为引入新知识的微调示例的学习速度明显低于与模型知识一致的示例。然而，我们还发现，随着包含新知识的示例最终被学习，它们会线性增加模型产生幻觉的倾向。综上所述，我们的研究结果强调了通过微调引入新事实知识的风险，并支持了大型语言模型主要通过预训练获取事实知识的观点，而微调教会了它们更有效地利用这些知识。