Instabilidade Numérica na Diferenciação Automática para Aprendizado de Máquina Científico

A aprendizagem de máquina científica (SciML) depende fortemente da diferenciação automática (AD) para otimização baseada em gradiente. No entanto, esta palestra revela os desafios numéricos da AD, particularmente sobre sua estabilidade e robustez quando aplicada a equações diferenciais ordinárias (EDOs) e equações diferenciais parciais (EDPs). Usando exemplos de Jax e PyTorch, a apresentação demonstra como imprecisões na AD podem levar a erros significativos (60% ou mais) mesmo em EDOs lineares simples. O palestrante discutirá modificações não padrão implementadas nas bibliotecas Julia SciML para resolver esses problemas e as compensações de engenharia necessárias.