2024년 대규모 언어 모델: 돌파구와 과제

2024년은 대규모 언어 모델(LLM) 분야에서 눈부신 발전을 이룬 해였습니다. 여러 기관들이 GPT-4의 성능을 뛰어넘었고, 모델 효율성이 극적으로 향상되어 개인용 노트북에서도 LLM을 실행할 수 있게 되었습니다. 멀티모달 모델이 보편화되었고, 음성 및 비디오 기능도 등장했습니다. 프롬프트 기반 앱 생성은 상품화되었지만, 최상위 모델에 대한 보편적 접근은 몇 달 동안만 지속되었습니다. 에이전트는 아직 실현되지 않았지만, 평가의 중요성이 커지고 있습니다. Apple의 MLX 라이브러리는 뛰어났지만, Apple Intelligence 기능은 실망스러웠습니다. 추론 스케일링 모델이 등장하여 비용을 절감하고 환경적 영향을 개선했지만, 새로운 인프라 구축으로 인한 환경 문제도 제기되었습니다. 합성 훈련 데이터는 매우 효과적이었지만, LLM의 사용 편의성은 여전히 과제이며, 지식 불균형도 해결되지 않았습니다. 더 나은 비판적 평가가 필요합니다.