Un article d'Apple remet en question les LLMs : les grands modèles de raisonnement sont-ils fondamentalement limités ?

Un article récent d'Apple affirme que les grands modèles de raisonnement (LRM) ont des limites en matière de calcul exact, qu'ils ne parviennent pas à utiliser des algorithmes explicites et qu'ils raisonnent de manière incohérente sur les énigmes. Cela est considéré comme un coup dur pour la tendance actuelle consistant à utiliser les LLMs et les LRMs comme base de l'AGI. Un article de réfutation sur arXiv tente de contrer les conclusions d'Apple, mais il est erroné. Il contient des erreurs mathématiques, confond l'exécution mécanique avec la complexité du raisonnement et ses propres données contredisent ses conclusions. De manière critique, la réfutation ignore la conclusion clé d'Apple selon laquelle les modèles réduisent systématiquement l'effort de calcul sur les problèmes plus difficiles, ce qui suggère des limitations d'échelle fondamentales dans les architectures actuelles de LRM.