我们还需要RNN吗？ (arxiv.org)

这篇论文重新审视了传统的循环神经网络（RNNs），如LSTMs和GRUs，发现通过移除其输入、遗忘和更新门中的隐藏状态依赖关系，LSTMs和GRUs不再需要BPTT，可以高效地并行训练。作者介绍了LSTMs和GRUs的最小版本（minLSTMs和minGRUs），它们使用比传统版本少得多的参数，并且在训练期间完全可并行化。最后，作者表明这些简化版的RNNs与最近的序列模型的经验性能相匹配。