과학적 머신러닝에서 자동 미분의 수치적 불안정성

과학적 머신러닝(SciML)은 기울기 기반 최적화를 위해 자동 미분(AD)에 크게 의존합니다. 하지만 이 발표는 특히 상미분 방정식(ODE)과 편미분 방정식(PDE)에 적용될 때 AD의 수치적 안정성과 견고성에 대한 과제를 밝힙니다. Jax와 PyTorch의 예를 사용하여 간단한 선형 ODE에서조차 AD의 부정확성이 60% 이상의 큰 오차로 이어질 수 있음을 보여줍니다. 발표자는 이러한 문제를 해결하기 위해 Julia SciML 라이브러리에 구현된 비표준 수정과 필요한 엔지니어링 트레이드오프에 대해 설명합니다.