効率的なバックプロパゲーション：einsumを用いた線形変換の微分簡略化
2025-09-14
この記事では、簡単な文字の入れ替えによって任意のeinsum式を簡単に微分できる、巧妙なバックプロパゲーションの手法を紹介しています。einsumは、行列積、ドット積、アダマール積など、線形変換を簡潔に表現する方法です。この記事では、行列積を例に、einsumを用いた順伝播と逆伝播の方法を示し、JAXを用いて結果の正しさを検証します。この手法は複雑な導出を回避し、深層学習におけるバックプロパゲーションの計算を大幅に簡素化します。
続きを読む