Les LLMs en 2024 : une année de progrès et de défis

2024 a été témoin d'une évolution remarquable des grands modèles de langage (LLMs). Plusieurs organisations ont surpassé les performances de GPT-4, conduisant à une augmentation spectaculaire de l'efficacité, permettant même l'exécution de LLMs sur des ordinateurs portables personnels. Les modèles multimodaux sont devenus courants, avec des capacités vocales et vidéo émergentes. La génération d'applications pilotées par des invites est devenue une commodité, mais l'accès universel aux meilleurs modèles n'a duré que quelques mois. Bien que les « agents » soient restés insaisissables, l'importance de l'évaluation est devenue primordiale. La bibliothèque MLX d'Apple a excellé, contrastant avec les fonctionnalités décevantes d'« Apple Intelligence ». Les modèles d'échelonnage d'inférence ont émergé, réduisant les coûts et améliorant l'impact environnemental, mais soulevant également des préoccupations concernant les conséquences environnementales des nouvelles infrastructures. Les données de formation synthétiques se sont avérées très efficaces, mais la facilité d'utilisation des LLMs est restée un défi, la distribution des connaissances est restée inégale et de meilleures évaluations critiques sont nécessaires.