深度学习中的表征乐观主义:破碎纠缠表征假说
2025-05-20
这项研究挑战了深度学习中“规模越大,性能越好,表征越好”的乐观假设。研究人员通过比较进化算法生成的网络和传统SGD训练的网络在图像生成任务中的内部表征,发现后者存在“破碎纠缠表征”(FER)现象,即神经元活动混乱无序,影响泛化、创造力和持续学习能力。而进化算法生成的网络则更接近“统一分解表征”(UFR),内部结构更清晰有效。该研究为理解和改进深度学习模型的内部表征提供了重要启示,有助于开发性能更好、更鲁棒的AI系统。
AI