Le goulot d'étranglement de l'AGI : l'ingénierie, pas les modèles
Le progrès rapide des grands modèles de langage semble avoir atteint un point d'étranglement. Le simple fait d'augmenter la taille des modèles ne produit plus d'améliorations significatives. La voie vers l'intelligence artificielle générale (AGI) ne passe pas par l'entraînement de modèles de langage plus grands, mais par la construction de systèmes d'ingénierie qui intègrent des modèles, la mémoire, le contexte et des flux de travail déterministes. L'auteur soutient que l'AGI est un problème d'ingénierie, et non un problème d'entraînement de modèles, nécessitant la construction de la gestion du contexte, des services de mémoire, des flux de travail déterministes et des modèles spécialisés en tant que composants modulaires. L'objectif final est d'atteindre la véritable AGI grâce à l'interaction synergique de ces composants.