Backpropagation Eficiente: Simplificando Derivadas de Transformaciones Lineales con Einsum

Esta publicación presenta un ingenioso truco de backpropagation que simplifica la derivación de cualquier expresión einsum mediante un simple intercambio de letras. Einsum es una forma concisa de expresar transformaciones lineales como la multiplicación de matrices, productos punto, productos de Hadamard y más. El artículo utiliza la multiplicación de matrices como ejemplo, mostrando cómo realizar la propagación hacia adelante y hacia atrás usando einsum y verificando los resultados con JAX. Este método evita derivaciones complejas, simplificando significativamente los cálculos de backpropagation en el aprendizaje profundo.