热力学自然梯度下降 (arxiv.org)

文章介绍了一种名为“热力学自然梯度下降”的新型数字-模拟混合算法，用于训练神经网络。该算法利用模拟系统的热力学特性，在特定参数范围内等效于自然梯度下降，但避免了计算成本高昂的线性系统求解。研究人员通过数值模拟证明，在分类任务和语言模型微调任务中，这种方法优于最先进的数字一阶和二阶训练方法。