克服当前大型语言模型的局限性
2024-07-18
大型语言模型(LLM)存在着诸如幻觉、缺乏置信度估计和缺乏引用等局限性。文章探讨了克服这些局限性的可能途径,特别提出了一种“一致性引导”的方法:从精选的、一致的语料库中训练基础模型,然后用该模型筛选新的训练数据,逐步扩展训练集并最终训练出一个大型的一致性语言模型。文章还提出了训练多个具有不同世界观的模型的想法。
未分类