Transformer²: 자가 적응형 LLM의 혁신
2025-01-15
Transformer²는 다양한 작업에 대해 가중치를 동적으로 조정하는 새로운 기계 학습 시스템입니다. 문어가 색깔을 바꾸거나 뇌가 손상 후 재배선되는 것과 같은 자연의 적응 메커니즘에서 영감을 얻어 대규모 언어 모델(LLM)이 실시간으로 새로운 작업에 적응할 수 있도록 합니다. 특이값 분해(SVD)와 강화 학습(RL)을 사용하여 Transformer²는 모델 가중치를 독립적인 구성 요소로 분해하고 수학, 코딩, 추론, 시각적 이해 등 다양한 작업에 대해 이러한 구성 요소를 최적으로 결합하는 방법을 학습합니다. 결과는 Transformer²가 LoRA와 같은 기존의 정적 접근 방식보다 효율성과 작업별 성능이 뛰어나며 훨씬 적은 매개변수로도 충분함을 보여줍니다. 이 연구는 지속적으로 학습하고 진화하는 "살아있는 지능"을 가진 AI 시스템을 구축하는 길을 열었습니다.
더 보기
AI
적응 학습