Programmation différentiable : une plongée profonde à partir des principes fondamentaux

Cet article fournit une explication complète de la programmation différentiable, en commençant par la définition des dérivées en calcul et en progressant vers des concepts tels que les gradients, les dérivées directionnelles et les matrices jacobiennes. Il détaille trois méthodes de différenciation : la différenciation numérique, la différenciation symbolique et la différenciation automatique (modes avant et arrière), en comparant leurs forces et leurs faiblesses. Enfin, il montre comment la différenciation automatique en mode arrière, combinée à la descente de gradient, peut résoudre des problèmes d’optimisation du monde réel à l’aide d’un exemple de débrouillage d’image.