Titans：テスト時に記憶する学習のための新しいニューラルアーキテクチャ

研究者たちは、ニューラルメモリモジュールとアテンションメカニズムを組み合わせることで、長期的な過去のコンテキストを効果的に記憶する新しいニューラルアーキテクチャ「Titans」を発表しました。従来のリカレントモデルやアテンションメカニズムとは異なり、Titansは特に「干し草の山から針を見つける」ようなタスクにおいて、長いシーケンスデータを処理する際の効率性と精度が優れています。言語モデリング、常識推論、ゲノミクス、時系列など、さまざまなタスクにおいて、Transformerや最近の線形リカレントモデルを上回り、200万を超えるコンテキストウィンドウサイズにも対応できます。