低成本训练大型扩散模型：只需1890美元

索尼研究团队开源了名为micro_diffusion的项目，该项目展示了如何在极低预算下（仅1890美元）训练大型扩散模型。他们利用3700万张公开可用的真实和合成图像，训练了一个拥有11.6亿参数的稀疏Transformer模型，在COCO数据集上的零样本生成中实现了12.7的FID分数。该项目提供了训练代码、数据集代码和预训练模型权重，并详细介绍了分阶段训练过程，包括从低分辨率到高分辨率的逐步训练以及补丁掩码技术的使用，以降低训练成本并提高效率。