大型语言模型：不止是随机鹦鹉？

长期以来，大型语言模型被批评为“随机鹦鹉”，仅仅是记忆和重复训练数据中的统计模式。然而，最新研究表明，这种说法并不完全准确。研究人员发现，模型内部形成了复杂的“电路”，这些电路是模型为了解决特定问题而自主学习的算法，而非预先设计的程序。这些电路允许模型对未在训练数据中出现的情况进行泛化，例如生成押韵诗句，甚至主动规划诗句结构。虽然模型的泛化能力仍然有限，但这些发现挑战了“随机鹦鹉”的论断，并引发了对模型智能本质的进一步思考，即模型是否能够自主生成新的电路以解决前所未有的问题。