通过多标记预测改进大型语言模型 (arxiv.org)

本文提出了一种通过多标记预测改进大型语言模型训练效率的方法。研究人员训练模型一次预测多个未来标记，使用多个独立的输出头，并在代码和自然语言模型上取得了显著成果。这种方法在生成性任务中表现尤为出色，例如编码任务，模型性能提升了几个百分点。此外，使用多标记预测训练的模型推理速度提高了3倍。