克服当前大型语言模型的局限性 (seanpedersen.github.io)

大型语言模型（LLM）存在着诸如幻觉、缺乏置信度估计和缺乏引用等局限性。文章探讨了克服这些局限性的可能途径，特别提出了一种“一致性引导”的方法：从精选的、一致的语料库中训练基础模型，然后用该模型筛选新的训练数据，逐步扩展训练集并最终训练出一个大型的一致性语言模型。文章还提出了训练多个具有不同世界观的模型的想法。