自动微分在科学机器学习中的数值稳定性挑战
2025-09-18
科学机器学习(SciML)广泛依赖自动微分(AD)来构建梯度，但AD在处理微分方程(ODE)和偏微分方程(PDE)时，其数值稳定性和鲁棒性却面临挑战。演讲者将探讨AD的数值分析，并通过Python库Jax和PyTorch的例子展示AD方法可能导致高达60%甚至更大的梯度误差。演讲还将介绍Julia SciML库中为克服这些数值不稳定性而采用的非标准AD修改方法，以及权衡取舍。