LLMの起源：ULMFitかGPT-1か？

この記事は、大規模言語モデル（LLM）の起源の謎を探ります。著者はULMFitからGPT-1までの開発過程を振り返り、LLMの定義を詳細に分析しています。自己教師あり学習、次の単語の予測、さまざまなテキストベースのタスクへの容易な適応など、重要な基準を満たすことから、ULMFitが最初のLLMであった可能性があると主張しています。GPT-1はTransformerアーキテクチャで広く知られていますが、ULMFitの貢献は見過ごせません。この記事では、LLMの将来的なトレンドについても考察し、「LLM」という用語は引き続き使用され、モデルの能力と共に進化し、最終的にはマルチモーダル処理を包含すると予測しています。