BD3-LMs: Modelos de Linguagem de Difusão Discreta em Blocos - Geração de Texto Mais Rápida e Eficiente

Os BD3-LMs combinam de forma inteligente os paradigmas de modelos autoregressivos e de difusão. Ao modelar blocos de tokens de forma autoregressiva e, em seguida, aplicar a difusão dentro de cada bloco, consegue-se tanto altas probabilidades quanto geração de comprimento flexível, mantendo as vantagens de velocidade e paralelização dos modelos de difusão. Algoritmos eficientes de treinamento e amostragem, exigindo apenas duas passagens para frente, melhoram ainda mais o desempenho, tornando-o uma abordagem promissora para geração de texto em larga escala.