H-Nets: Una arquitectura de red jerárquica que supera a los transformadores

Las arquitecturas de IA actuales tratan todas las entradas por igual, sin aprovechar la naturaleza jerárquica inherente de la información. Esto limita su capacidad de aprendizaje a partir de datos brutos de alta resolución. Los investigadores presentan H-Nets, una nueva arquitectura que modela de forma nativa la jerarquía directamente a partir de datos brutos. El núcleo de H-Nets es un mecanismo de fragmentación dinámica que segmenta y comprime los datos brutos en conceptos significativos. Los experimentos muestran que H-Nets supera a los transformadores de última generación en el modelado del lenguaje, mostrando una escalabilidad y robustez mejoradas, ofreciendo una vía prometedora hacia la comprensión multimodal, el razonamiento de contexto largo y el entrenamiento e inferencia eficientes.