Inestabilidad Numérica en la Diferenciación Automática para el Aprendizaje Automático Científico

El aprendizaje automático científico (SciML) depende en gran medida de la diferenciación automática (AD) para la optimización basada en gradiente. Sin embargo, esta charla revela los desafíos numéricos de la AD, particularmente en cuanto a su estabilidad y robustez cuando se aplica a ecuaciones diferenciales ordinarias (EDOs) y ecuaciones diferenciales parciales (EDPs). Usando ejemplos de Jax y PyTorch, la presentación demuestra cómo las imprecisiones en la AD pueden provocar errores significativos (60% o más) incluso en EDOs lineales simples. El orador discutirá las modificaciones no estándar implementadas en las bibliotecas Julia SciML para abordar estos problemas y las compensaciones de ingeniería necesarias.