LLM의 기원: ULMFit 또는 GPT-1?

이 글은 대규모 언어 모델(LLM)의 기원에 대한 미스터리를 파헤칩니다. 저자는 ULMFit부터 GPT-1까지의 개발 과정을 되짚어보고 LLM의 정의를 자세히 분석합니다. 자기 지도 학습, 다음 단어 예측, 다양한 텍스트 기반 작업에 대한 쉬운 적응성 등 중요한 기준을 충족한다는 점에서 ULMFit이 최초의 LLM이었을 가능성이 있다고 주장합니다. GPT-1은 Transformer 아키텍처로 널리 알려져 있지만 ULMFit의 공헌을 간과할 수 없습니다. 이 글에서는 LLM의 미래 동향도 살펴보고, "LLM"이라는 용어는 계속 사용될 것이며 모델의 능력과 함께 진화하여 궁극적으로는 다중 모달 처리를 포함할 것이라고 예측합니다.