Titans：测试时学习记忆的全新神经网络架构
2025-01-16
研究人员提出了一种名为Titans的新型神经网络架构，它结合了神经记忆模块和注意力机制，能够有效地记忆长期的历史上下文信息。不同于传统的循环模型和注意力机制，Titans在处理长序列数据时具有更高的效率和准确性，尤其在“大海捞针”的任务中表现突出。该架构在语言建模、常识推理、基因组学和时间序列等多个任务上均取得了优于Transformer和线性循环模型的成果，并可扩展至超过200万上下文窗口大小。
AI
长期记忆