표상 낙관주의에 대한 의문: 파편화된 얽힘 표상 가설

본 연구는 딥러닝에서 '규모가 커지면 성능이 향상되고 내부 표상도 향상된다'는 낙관적인 가정에 도전합니다. 개방형 탐색 과정을 통해 진화된 네트워크와 단순한 이미지 생성 작업에서 기존 SGD로 훈련된 네트워크를 비교함으로써 연구자들은 SGD로 훈련된 네트워크가 '파편화된 얽힘 표상'(FER)을 보인다는 것을 발견했습니다. 이는 비조직적인 뉴런 활동으로 특징지어지며, 일반화, 창의성, 지속적인 학습을 방해합니다. 반대로, 진화된 네트워크는 더욱 통합적이고 요인화된 표상을 보여주며, FER 문제 해결이 표상 학습의 발전과 더욱 견고한 AI 시스템 구축에 필수적임을 시사합니다.