从文字到数字：大型语言模型在上下文示例中展现出强大的回归能力 (arxiv.org)

这篇论文分析了预训练的大型语言模型（如Llama2、GPT-4、Claude 3等）在给定上下文示例的情况下，进行线性回归和非线性回归的能力，而无需任何额外的训练或梯度更新。研究发现，一些大型语言模型（例如GPT-4、Claude 3）能够执行回归任务，其性能可与传统的监督方法（如随机森林、Bagging或梯度提升）相媲美，甚至超越后者。