突破预训练算法瓶颈：归纳矩匹配 (IMM) 的高效生成
2025-03-12
Luma Labs 推出了新的预训练技术——归纳矩匹配 (IMM)，它解决了生成式预训练中算法创新的停滞问题。与扩散模型相比，IMM 在样本质量和采样效率上均有显著提升，采样效率提高了十倍以上。IMM 通过引入目标时间步，增强了推理迭代的灵活性，避免了扩散模型中线性插值带来的性能上限。实验结果表明，IMM 在 ImageNet 和 CIFAR-10 数据集上取得了最先进的 FID 分数，并具有更强的训练稳定性。这项研究标志着生成式预训练算法的一次重要革新，为多模态基础模型的未来发展铺平了道路。
阅读更多
AI
生成式预训练
