A Origem dos LLMs: ULMFit ou GPT-1?

Este artigo investiga o mistério da origem dos Grandes Modelos de Linguagem (LLMs). O autor revisita o desenvolvimento do ULMFit ao GPT-1, fornecendo uma análise detalhada da definição de um LLM. Argumenta-se que o ULMFit pode ter sido o primeiro LLM, cumprindo critérios-chave como treinamento auto-supervisionado, previsão da próxima palavra e fácil adaptação a várias tarefas baseadas em texto. Embora o GPT-1 seja amplamente conhecido por sua arquitetura Transformer, a contribuição do ULMFit não pode ser ignorada. O artigo também explora as tendências futuras dos LLMs, prevendo que o termo 'LLM' continuará sendo usado, evoluindo com as capacidades do modelo e potencialmente abrangendo o processamento multimodal.