RWKV: Un nuevo modelo de lenguaje que combina lo mejor de RNN y Transformer

RWKV es un nuevo modelo de lenguaje de Red Neuronal Recurrente (RNN) que combina lo mejor de las RNN y los Transformers, logrando un rendimiento superior. A diferencia de los Transformers tradicionales, RWKV cuenta con complejidad de tiempo lineal y complejidad de espacio constante, entrenamiento rápido, longitud de contexto infinita y es libre de atención. La versión actual, RWKV-7, ofrece varias demostraciones y herramientas, incluyendo demostraciones WebGPU, utilidades de ajuste fino y servidores para inferencia rápida. También tiene una comunidad vibrante y numerosos proyectos relacionados, y es un proyecto de IA de la Fundación Linux.