Instabilité numérique dans la différenciation automatique pour l'apprentissage automatique scientifique
L'apprentissage automatique scientifique (SciML) repose fortement sur la différenciation automatique (AD) pour l'optimisation basée sur le gradient. Cependant, cet exposé révèle les défis numériques de l'AD, notamment concernant sa stabilité et sa robustesse lorsqu'elle est appliquée aux équations différentielles ordinaires (EDO) et aux équations différentielles partielles (EDP). À l'aide d'exemples de Jax et PyTorch, la présentation montre comment les imprécisions dans l'AD peuvent entraîner des erreurs significatives (60 % ou plus) même dans des EDO linéaires simples. L'orateur discutera des modifications non standard implémentées dans les bibliothèques Julia SciML pour résoudre ces problèmes et les compromis d'ingénierie nécessaires.
Lire plus