低予算で大型拡散モデルをトレーニング：1890ドル

ソニー研究所は、極めて低予算（1890ドル）で、大規模な拡散モデルをトレーニングする方法を示すmicro_diffusionをオープンソース化しました。公開されている3700万枚の実画像と合成画像を使用して、11.6億パラメーターのスパーストランスフォーマーモデルをトレーニングし、COCOデータセットでのゼロショット生成において12.7のFIDスコアを達成しました。このプロジェクトは、トレーニングコード、データセットコード、事前トレーニング済みモデルの重みを提供し、低解像度から高解像度への段階的なトレーニングや、トレーニングコストの削減と効率向上のためのパッチマスキングの使用など、段階的なトレーニングプロセスを詳細に説明しています。