DoLa：通过对比层解码提高大型语言模型中的事实性
2024-07-10
这篇论文介绍了一种名为DoLa的新解码策略，用于减少预训练大型语言模型中的幻觉现象，即生成偏离预训练中所见事实的内容。DoLa方法通过对比从较后层和较早层投影到词汇空间得到的logits差异来获得下一个标记的分布，它利用了大型语言模型中的事实性知识通常局限于特定Transformer层这一事实。实验结果表明，DoLa能够更好地呈现事实性知识，减少错误事实的产生，并在多个选择题和开放式生成任务中持续提高真实性。
44