TarFlow：Transformerベースの正規化フローモデルが画像尤度推定でSOTAを更新

研究者らは、Transformerアーキテクチャとマスク付き自己回帰フローの長所を組み合わせた、TarFlowと呼ばれる新しい正規化フローモデルを発表しました。TarFlowは、画像パッチに自己回帰Transformerブロックを適用し、層間で自己回帰の方向を交互に切り替えることで、効率的な密度推定と画像生成を実現します。さらに、サンプル品質を向上させる3つの主要な技術、すなわちトレーニング中のガウスノイズ増強、トレーニング後のノイズ除去手順、およびクラス条件付きと無条件の両方の設定に対する効果的なガイダンス方法を提案しています。これらの技術を組み合わせることで、TarFlowは画像の尤度推定において画期的な成果を達成し、従来の最先端手法を大きく上回り、スタンドアロンの正規化フローモデルとしては初めて、拡散モデルに匹敵する品質と多様性を備えたサンプルを生成します。