这篇论文介绍了一种名为DoLa的新解码策略,用于减少预训练大型语言模型中的幻觉现象,即生成偏离预训练中所见事实的内容。DoLa方法通过对比从较后层和较早层投影到词汇空间得到的logits差异来获得下一个标记的分布,它利用了大型语言模型中的事实性知识通常局限于特定Transformer层这一事实。实验结果表明,DoLa能够更好地呈现事实性知识,减少错误事实的产生,并在多个选择题和开放式生成任务中持续提高真实性。