节省每一分钱：用微薄预算从零开始训练扩散模型

本文介绍了一种低成本训练大型文本到图像扩散Transformer模型的方法，旨在解决生成式AI模型开发过程中计算资源集中的问题。作者提出了一种随机遮蔽图像块的训练策略，并结合混合专家层等Transformer架构的改进，显著降低了训练成本，同时保持了模型性能。实验结果表明，该方法仅需花费1890美元，就能在COCO数据集上实现12.7 FID的零样本生成性能。