H-Nets : Une architecture de réseau hiérarchique surpassant les Transformers
Les architectures IA actuelles traitent toutes les entrées de la même manière, sans exploiter la nature hiérarchique inhérente de l'information. Cela limite leur capacité d'apprentissage à partir de données brutes haute résolution. Les chercheurs présentent H-Nets, une nouvelle architecture modélisant nativement la hiérarchie directement à partir des données brutes. Le cœur de H-Nets est un mécanisme de segmentation dynamique qui segmente et compresse les données brutes en concepts significatifs. Les expériences montrent que H-Nets surpasse les Transformers de pointe en modélisation du langage, affichant une meilleure évolutivité et robustesse, ouvrant la voie à une compréhension multimodale, un raisonnement à long contexte et un entraînement et une inférence efficaces.