RWKV：一种兼具RNN和Transformer优势的全新语言模型
2025-01-02
RWKV 是一种新型的循环神经网络 (RNN) 语言模型，它结合了 RNN 和 Transformer 的优点，实现了卓越的性能。与传统的 Transformer 模型不同，RWKV 具有线性时间复杂度和恒定空间复杂度，训练速度快，上下文长度无限，并且不需要注意力机制。目前已发布 RWKV-7 版本，并提供多种演示和工具，包括 WebGPU 演示、微调工具以及用于快速推理的服务器。RWKV 还拥有活跃的社区和大量的相关项目，是 Linux 基金会 AI 项目。
阅读更多
AI