ニューラル埋め込みの構造に関する洞察
2024-12-27
この記事では、深層ニューラルネットワークによって生成される埋め込み（潜在空間）の構造を探ります。いくつかの重要な仮説がまとめられています。多様体仮説（高次元データは低次元多様体上に存在する）、階層的組織化（特徴は層全体で階層的に組織化される）、線形仮説（ニューラルネットワークは特徴を活性化空間内の線形方向として表現する）、重ね合わせ仮説（ニューラルネットワークは、層が持つニューロン数よりも多くの「独立した」特徴を表現する）、普遍性仮説（同じデータに対する異なるモデルで回路が再出現する）、敵対的脆弱性（入力空間の小さな変化が埋め込みに大きな変化を引き起こす）、ニューラル崩壊（トレーニング後、クラスの特徴は平均値の周りに密にクラスター化する）。これらの仮説は、深層ニューラルネットワーク埋め込みの複雑さと潜在的な限界を明らかにしています。
AI
埋め込み