뉴럴 임베딩 구조에 대한 통찰

이 글에서는 심층 신경망에서 생성되는 임베딩(잠재 공간)의 구조를 탐구합니다. 몇 가지 중요한 가설이 요약되어 있습니다. 다양체 가설(고차원 데이터는 저차원 다양체에 존재), 계층적 구성(특징은 계층 전체에 걸쳐 계층적으로 구성됨), 선형 가설(신경망은 특징을 활성화 공간 내 선형 방향으로 표현), 중첩 가설(신경망은 층이 가진 뉴런 수보다 많은 '독립적인' 특징을 표현), 보편성 가설(같은 데이터에 대한 서로 다른 모델에서 회로가 재출현), 적대적 취약성(입력 공간의 작은 변화가 임베딩에 큰 변화를 일으킴), 뉴럴 붕괴(훈련 후 클래스의 특징은 평균값 주변에 밀집하여 클러스터링됨). 이러한 가설들은 심층 신경망 임베딩의 복잡성과 잠재적 한계를 보여줍니다.