Au-delà des modèles autorégressifs : la prochaine frontière de l’IA
La plupart des modèles d’IA générative actuels sont autorégressifs, ce qui signifie qu’ils prédisent le jeton suivant, l’architecture Transformer étant l’implémentation dominante en raison de son efficacité computationnelle. Cependant, les modèles autorégressifs présentent des limitations inhérentes, telles que le manque de capacités de planification et de raisonnement, une mémoire à long terme limitée et une tendance à « halluciner ». L’auteur soutient que la pensée humaine n’est pas purement autorégressive, englobant la pensée non séquentielle et la planification. Pour parvenir à une IA plus proche de la cognition humaine, les chercheurs explorent des paradigmes alternatifs tels que JEPA et les modèles de diffusion, qui génèrent du contenu par raffinement itératif ou débruitage à partir du bruit, reflétant plus fidèlement les processus de pensée humains.
Lire plus
