BD3-LMs : Modèles linguistiques de diffusion discrets par blocs – Génération de texte plus rapide et plus efficace
2025-05-08
Les BD3-LMs combinent intelligemment les paradigmes des modèles autorégressifs et des modèles de diffusion. En modélisant des blocs de jetons de manière autorégressive, puis en appliquant la diffusion à l'intérieur de chaque bloc, ils permettent d'obtenir à la fois des probabilités élevées et une génération de longueur flexible, tout en conservant les avantages de vitesse et de parallélisation des modèles de diffusion. Des algorithmes d'entraînement et d'échantillonnage efficaces, ne nécessitant que deux passages en avant, améliorent encore les performances, ce qui en fait une approche prometteuse pour la génération de texte à grande échelle.
Lire plus