LLM革命的起源：ULMFit还是GPT-1？

本文探讨了大型语言模型（LLM）的起源之谜。作者回顾了从ULMFit到GPT-1的发展历程，并对LLM的定义进行了深入剖析，认为ULMFit可能是第一个LLM，因为它满足了自监督训练、预测下一个单词以及易于适应多种文本任务等关键条件。尽管GPT-1因其Transformer架构而广为人知，但ULMFit的贡献不容忽视。文章还探讨了LLM的未来发展趋势，预测“LLM”这一术语将继续沿用，并随着模型能力的提升而演变，最终可能涵盖多模态处理能力。