H-Nets: Eine hierarchische Netzwerkarchitektur, die Transformer übertrifft
2025-07-16
Aktuelle KI-Architekturen behandeln alle Eingaben gleich, ohne die inhärente hierarchische Natur von Informationen zu nutzen. Dies begrenzt ihre Fähigkeit, aus hochauflösenden Rohdaten zu lernen. Forscher präsentieren H-Nets, eine neue Architektur, die Hierarchie nativ direkt aus Rohdaten modelliert. Der Kern von H-Nets ist ein dynamischer Chunk-Mechanismus, der Rohdaten in sinnvolle Konzepte segmentiert und komprimiert. Experimente zeigen, dass H-Nets aktuelle Transformer in der Sprachmodellierung übertrifft und eine verbesserte Skalierbarkeit und Robustheit aufweist, was einen vielversprechenden Weg für multimodales Verständnis, Langzeit-Reasoning und effizientes Training und Inferenz bietet.