核手提箱 海洋云增白 可扩展服务 蝉 policy 颈挂空调 计算机硬件 极端主义 PostgreSQL AI工具 儿童读物 化学 即时消息 代码审查 反向工程 KDE 数据安全 效率工具 超级计算机 植物学 分析化学 插图 Three.js 泄露 大会 残疾人学校 初创 Verizon 海水淡化 加速器项目 更多

xLSTM：扩展的长短期记忆网络 (arxiv.org)

原文: [2405.04517] xLSTM: Extended Long Short-Term Memory

本文介绍了扩展的长短期记忆网络（xLSTM），它对传统的LSTM进行了改进，包括采用指数门控和修改的内存结构。xLSTM包含两种变体：sLSTM采用标量内存和更新，mLSTM采用矩阵内存和协方差更新规则，可完全并行化。实验结果表明，xLSTM在性能和扩展性方面优于最先进的Transformer和状态空间模型。