基于GPU的并行化RNN：minGRU和minLSTM的CUDA实现
2025-09-21
这篇博文描述了一个加州理工学院CS179课程的最终项目，该项目旨在验证Feng等人在论文“Were RNNs All We Needed?”中提出的观点：通过简化LSTM和GRU，其递归可以利用并行扫描算法进行加速。作者实现了简化的minGRU和minLSTM模型，并使用CUDA实现了并行扫描算法。实验结果表明，对于长序列，GPU实现比CPU实现快得多，验证了论文的结论。然而，对于短序列，CUDA核函数的启动开销抵消了部分性能提升。项目还对GPU内核进行了性能分析，发现最终的投影层是主要的瓶颈。
阅读更多
开发