热力学自然梯度下降 2024-05-24 文章介绍了一种名为“热力学自然梯度下降”的新型数字-模拟混合算法，用于训练神经网络。该算法利用模拟系统的热力学特性，在特定参数范围内等效于自然梯度下降，但避免了计算成本高昂的线性系统求解。研究人员通过数值模拟证明，在分类任务和语言模型微调任务中，这种方法优于最先进的数字一阶和二阶训练方法。 (arxiv.org) 45 未分类 自然梯度下降
