LLM de diffusion : un changement de paradigme dans la modélisation du langage

Inception Labs a dévoilé un modèle linguistique large de diffusion (dLLM) révolutionnaire qui remet en question l'approche autorégressive traditionnelle. Contrairement aux modèles autorégressifs qui prédisent les jetons séquentiellement, les dLLM génèrent des segments de texte simultanément, en les affinant itérativement. Cette méthode, couronnée de succès dans les modèles d'image et de vidéo, surpasse désormais les LLM de taille similaire dans la génération de code, affichant une amélioration de 5 à 10 fois de la vitesse et de l'efficacité. L'avantage principal ? Réduction des hallucinations. Les dLLM génèrent et valident des parties cruciales avant de poursuivre, ce qui est crucial pour les applications exigeant de la précision, telles que les chatbots et les agents intelligents. Cette approche promet des flux de travail d'agents multi-étapes améliorés, en prévenant les boucles et en améliorant la planification, le raisonnement et l'autocorrection.