Der Ursprung von LLMs: ULMFit oder GPT-1?

Dieser Artikel untersucht das Geheimnis um den Ursprung großer Sprachmodelle (LLMs). Der Autor betrachtet die Entwicklung von ULMFit bis GPT-1 und liefert eine detaillierte Analyse der Definition eines LLMs. Er argumentiert, dass ULMFit möglicherweise das erste LLM war, da es wichtige Kriterien wie selbstüberwachtes Training, die Vorhersage des nächsten Wortes und einfache Anpassungsfähigkeit an verschiedene textbasierte Aufgaben erfüllt. Obwohl GPT-1 aufgrund seiner Transformer-Architektur weithin bekannt ist, darf der Beitrag von ULMFit nicht ignoriert werden. Der Artikel untersucht auch zukünftige Trends von LLMs und prognostiziert, dass der Begriff „LLM“ weiterhin verwendet wird und sich mit den Fähigkeiten des Modells weiterentwickelt und möglicherweise die multimodale Verarbeitung umfasst.