Un article d'Apple révèle les limites de l'augmentation d'échelle des grands modèles de langage

Un article d'Apple soulignant les limites des capacités de raisonnement des grands modèles de langage (LLM) a déclenché un débat animé au sein de la communauté de l'IA. L'article montre que même les modèles les plus massifs ont du mal avec des tâches de raisonnement apparemment simples, remettant en question l'hypothèse dominante selon laquelle « l'augmentation d'échelle résout tout » pour atteindre l'Intelligence Artificielle Générale (AGI). Si certaines tentatives de réfutation ont émergé, aucune n'a été convaincante. Le problème principal, selon l'article, est le manque de fiabilité des LLM dans l'exécution d'algorithmes complexes en raison des limitations de longueur de sortie et de la dépendance excessive aux données d'entraînement. La véritable AGI, suggère l'auteur, nécessite des modèles supérieurs et une approche hybride combinant les réseaux neuronaux et les algorithmes symboliques. L'importance de l'article réside dans sa provocation à une réévaluation critique du chemin de développement de l'AGI, révélant que l'augmentation d'échelle à elle seule est insuffisante.