H-Nets：Transformerを超える階層型ネットワークアーキテクチャ

現在のAIアーキテクチャはすべての入力を平等に扱い、情報の固有の階層構造を利用していません。これは、高解像度の生データから学習する能力を制限します。研究者たちは、生データから階層構造をネイティブにモデル化する新しいアーキテクチャであるH-Netsを発表しました。H-Netsの中核は、生データを意味のある概念にセグメント化および圧縮する動的チャンク化メカニズムです。実験では、H-Netsは最先端のTransformerを凌駕し、スケーラビリティと堅牢性が向上し、マルチモーダル理解、長文脈推論、効率的なトレーニングと推論への有望な道筋を示しています。