Numerische Instabilität bei der automatischen Differentiation für Scientific Machine Learning

Scientific Machine Learning (SciML) verlässt sich stark auf automatische Differentiation (AD) für gradientenbasierte Optimierung. Dieser Vortrag beleuchtet jedoch die numerischen Herausforderungen von AD, insbesondere hinsichtlich Stabilität und Robustheit bei Anwendung auf gewöhnliche Differentialgleichungen (ODG) und partielle Differentialgleichungen (PDG). Anhand von Beispielen aus Jax und PyTorch wird gezeigt, wie Ungenauigkeiten in AD zu erheblichen Fehlern (60 % oder mehr) selbst bei einfachen linearen ODG führen können. Der Referent wird nicht-standardmäßige Modifikationen in den Julia SciML-Bibliotheken diskutieren, um diese Probleme zu lösen, sowie die notwendigen technischen Kompromisse.