ネイティブスパースアテンション：ハードウェアアラインメントとネイティブトレーニング

長文脈モデリングは自然言語処理における課題であり続けています。このACL 2025の論文は、ネイティブにトレーニングされたスパースアテンションメカニズムであるNSAを紹介します。NSAは、アルゴリズムの革新とハードウェアに合わせた最適化を巧みに組み合わせることで、グローバルなコンテキスト認識と局所的な精度を維持しながら、計算効率を大幅に向上させます。動的な階層型スパース戦略（粗粒度トークン圧縮と細粒度トークン選択）を採用することで、エンドツーエンドのトレーニングが可能になり、事前トレーニングの計算コストが削減されます。様々なベンチマークにおいて、フルアテンションモデルと同等かそれ以上の性能を示し、特に64k長のシーケンスにおけるデコード、フォワードプロパゲーション、バックプロパゲーションにおいて大幅な高速化を実現しています。