BD3-LMs：块状离散去噪扩散语言模型
2025-05-08
BD3-LMs 结合了自回归模型和扩散模型的优势，通过对文本进行分块处理，提高了语言模型的似然性和生成效率。它将文本分割成多个块，并使用离散扩散模型对每个块进行建模，从而实现快速并行生成。这种方法不仅提高了生成速度，还能够有效地处理长文本生成问题。训练和采样算法也进行了优化，只需两次前向传递即可完成所有块的预测，显著提高了效率。
阅读更多
AI