表現楽観主義への疑問：断片化された絡み合った表現仮説

この研究は、深層学習において「規模が大きくなれば、パフォーマンスが向上し、内部表現も向上する」という楽観的な仮定に挑戦しています。オープンエンドな探索プロセスによって進化したネットワークと、単純な画像生成タスクで従来のSGDによって訓練されたネットワークを比較することにより、研究者たちは、SGDで訓練されたネットワークが、「断片化された絡み合った表現」（FER）を示すことを発見しました。これは、非組織的なニューロン活動によって特徴付けられ、汎化、創造性、継続的な学習を妨げます。対照的に、進化したネットワークはより統一的で要因化された表現を示しており、FERに対処することが、表現学習の進歩と、より堅牢なAIシステムの構築に不可欠であることを示唆しています。