미분 가능한 프로그래밍: 기본 원리부터 심층적으로 파헤치기

이 글에서는 미분 가능한 프로그래밍에 대한 포괄적인 설명을 제공하며, 미적분학의 미분 정의에서 시작하여 기울기, 방향 도함수, 야코비 행렬과 같은 개념으로 나아갑니다. 수치 미분, 기호 미분, 자동 미분(순전파 및 역전파 모드)의 세 가지 미분 방법을 자세히 설명하고 각각의 강점과 약점을 비교합니다. 마지막으로, 역전파 모드 자동 미분과 경사 하강법을 결합하여 이미지 흐림 제거 예시를 사용하여 실제 최적화 문제를 해결하는 방법을 보여줍니다.