この記事では、微分可能なプログラミングについて包括的な説明を行い、微積分における微分の定義から始め、勾配、方向微分、ヤコビ行列などの概念へと進みます。数値微分、記号微分、自動微分（順伝播と逆伝播モード）の3つの微分手法を詳細に説明し、それぞれの長所と短所を比較します。最後に、逆伝播モードの自動微分と勾配降下法を組み合わせて、画像のぼけ除去の例を用いて現実世界の最適化問題を解決する方法を示します。
続きを読む
この記事では、モンテカルロ法における2つの重要なサンプリング手法である棄却サンプリングと座標変換について解説します。棄却サンプリングは、単純な領域からサンプリングを行い、受容確率に基づいてサンプルをフィルタリングすることで、複雑な領域のサンプリングを実現します。この記事では、棄却サンプリングの確率密度関数の詳細な導出を行い、それを非一様分布に拡張します。座標変換は、ヤコビアン行列式を利用して、単純な領域からのサンプリングを複雑な領域にマッピングすることで、効率的なサンプリングを可能にします。この記事では、単位円を例に、極座標変換を用いた一様サンプリングの方法を示します。どちらの方法にも長所と短所があります。棄却サンプリングはシンプルで理解しやすいですが、その効率は受容確率に依存します。座標変換は効率的ですが、適切な座標変換を見つける必要があります。
続きを読む