颠覆Transformer？H-Nets：一种基于分层网络的全新AI架构
2025-07-16
当前AI架构处理所有输入时一视同仁，忽略了信息固有的层次结构。这限制了模型从高分辨率原始数据中学习的能力。为此，研究人员提出了H-Nets，一种能够从原始数据中学习层次结构的全新架构。H-Nets的核心是动态分块机制，它能将原始数据分割并压缩成有意义的概念。实验表明，H-Nets在语言建模方面优于现有Transformer模型，并具有更好的可扩展性和鲁棒性，为多模态理解、长程推理和高效训练提供了新的途径。