RWKV: Um novo modelo de linguagem que combina o melhor de RNN e Transformer
2025-01-02
RWKV é um novo modelo de linguagem de Rede Neural Recorrente (RNN) que combina o melhor dos RNNs e Transformers, alcançando desempenho superior. Ao contrário dos Transformers tradicionais, o RWKV possui complexidade de tempo linear e complexidade de espaço constante, treinamento rápido, comprimento de contexto infinito e é livre de atenção. A versão atual, RWKV-7, oferece várias demonstrações e ferramentas, incluindo demonstrações WebGPU, utilitários de ajuste fino e servidores para inferência rápida. Ele também possui uma comunidade vibrante e numerosos projetos relacionados, e é um projeto de IA da Fundação Linux.
Leia mais