Gemini Diffusion : Le modèle de génération de texte ultra-rapide ?
Le Gemini Diffusion, récemment lancé par Google, impressionne par sa vitesse ; la démo a même été ralentie pour être visible. Cet article explore pourquoi les modèles de diffusion sont si rapides, en les comparant aux modèles autorégressifs traditionnels (comme GPT-4, Claude). Les modèles de diffusion génèrent toute la sortie d’un coup, au lieu de token par token, permettant une génération parallèle de parties correctes et une vitesse accrue grâce à des itérations réduites. Cependant, ils sont moins efficaces avec les longs contextes et leurs capacités de raisonnement restent à prouver. Bien que les modèles de diffusion puissent utiliser des transformateurs en interne, leur architecture les rend fondamentalement différents des modèles autorégressifs.