下一词预测中的物理学

该研究发现了下一词预测（NTP）中的潜在物理规律，提出了信息容量第一定律（IC-1），指出自回归模型中智能涌现的本质是一个信息传递过程。同时，该研究将Landauer原理引入NTP，制定了信息容量第二定律（IC-2），建立了自回归模型训练与能量消耗之间的关系，并提出了一些对实际应用具有指导意义的推论。最后，该研究论证了信息容量定律与神经语言模型的缩放定律、知识容量缩放定律和精度缩放定律之间的一致性。