从人造针到真实草垛：通过合成数据微调提高大型语言模型的检索能力

大型语言模型在处理长文本输入时，在准确检索信息和保持推理能力方面存在不足。为解决这些限制，研究人员提出了一种利用精心设计的合成数据集进行微调的方法，该数据集包含数字键值检索任务。在 GPT-3.5 Turbo 和 Mistral 7B 等模型上进行的实验表明，在该数据集上微调大型语言模型可以显著提高其在较长上下文环境中的信息检索和推理能力。