소형 언어 모델의 부상: 300억 매개변수도 여전히 '소형'

2018년 당시 '소형 모델'이라면 수백만 개의 매개변수를 가지고 라즈베리 파이에서 작동하는 모델을 의미했습니다. 하지만 현재는 300억 개의 매개변수를 가진 모델도 '소형'으로 간주되며, 단일 GPU로 실행할 수 있습니다. 정의가 바뀌었습니다. 이제 '소형'은 순수한 크기가 아니라 배포 용이성을 중시합니다. 이러한 모델은 에지 최적화 모델(Phi-3-mini 등, 모바일 기기에서 작동하는 모델)과 GPU 친화적 모델(Meta Llama 3 70B 등, 단일 GPU에서 작동하는 모델)의 두 가지 범주로 나뉩니다. 소형 모델은 특정 작업에 특화되어 효율성이 높고 미세 조정이 용이합니다. 700억 개의 매개변수를 가진 모델조차 최적화하면 하이엔드 소비자용 GPU에서 원활하게 작동합니다. 이는 소형 모델 시대의 도래를 알리고 있으며, 스타트업, 개발자, 기업에 많은 가능성을 제공합니다.