BD3-LMs：ブロック離散ノイズ除去拡散言語モデル - より高速で効率的なテキスト生成

BD3-LMsは、自己回帰モデルと拡散モデルのパラダイムを巧みに組み合わせたものです。トークンのブロックを自己回帰的にモデル化し、次に各ブロック内で拡散を適用することで、高い尤度と柔軟な長さの生成を両立させながら、拡散モデルの速度と並列化の利点を維持します。わずか2回の順方向パスしか必要としない効率的なトレーニングとサンプリングアルゴリズムにより、パフォーマンスがさらに向上し、大規模なテキスト生成のための有望なアプローチとなっています。