RWKV : Un nouveau modèle de langage combinant les avantages des RNN et des Transformers

RWKV est un nouveau modèle de langage de type Réseau de Neurones Récurrents (RNN) qui combine les meilleurs aspects des RNN et des Transformers, atteignant des performances supérieures. Contrairement aux Transformers traditionnels, RWKV présente une complexité temporelle linéaire et une complexité spatiale constante, un entraînement rapide, une longueur de contexte infinie et est sans attention. La version actuelle, RWKV-7, offre diverses démonstrations et outils, notamment des démonstrations WebGPU, des utilitaires de réglage fin et des serveurs pour une inférence rapide. Il possède également une communauté active et de nombreux projets associés, et est un projet IA de la Fondation Linux.