Backpropagation Efficace : Simplification des Dérivées de Transformations Linéaires avec Einsum

Cet article présente une astuce astucieuse de rétropropagation qui simplifie la dérivation de n'importe quelle expression einsum grâce à un simple échange de lettres. Einsum est un moyen concis d'exprimer des transformations linéaires telles que la multiplication matricielle, les produits scalaires, les produits de Hadamard, etc. L'article utilise la multiplication matricielle comme exemple, montrant comment effectuer la propagation avant et arrière à l'aide d'einsum et en vérifiant les résultats avec JAX. Cette méthode évite les dérivations complexes, simplifiant considérablement les calculs de rétropropagation dans l'apprentissage profond.