L'origine des LLM : ULMFit ou GPT-1 ?

Cet article explore le mystère de l'origine des grands modèles de langage (LLM). L'auteur revient sur le développement d'ULMFit à GPT-1, en fournissant une analyse détaillée de la définition d'un LLM. Il soutient qu'ULMFit pourrait être le premier LLM, répondant à des critères clés tels que l'apprentissage auto-supervisé, la prédiction du mot suivant et une adaptation facile à diverses tâches basées sur du texte. Bien que GPT-1 soit largement connu pour son architecture Transformer, la contribution d'ULMFit ne peut être ignorée. L'article explore également les tendances futures des LLM, prédisant que le terme « LLM » continuera d'être utilisé, évoluant avec les capacités du modèle et englobant potentiellement le traitement multimodal.