RWKV: نموذج لغوي جديد يجمع بين أفضل ما في RNN و Transformer
2025-01-02
RWKV هو نموذج لغوي جديد من نوع الشبكات العصبية المتكررة (RNN) يجمع بين أفضل ما في RNN و Transformer، مما يحقق أداءً متفوقًا. على عكس نماذج Transformer التقليدية، يتميز RWKV بمعقدة زمنية خطية ومعقدة مكانية ثابتة، وتدريب سريع، وطول سياق لانهائي، وهو خالٍ من آلية الانتباه. الإصدار الحالي، RWKV-7، يوفر عروضًا توضيحية وأدوات متنوعة، بما في ذلك عروض توضيحية لـ WebGPU، وأدوات ضبط دقيق، وخوادم للاستنتاج السريع. كما يتميز بمجتمع نابض بالحياة والعديد من المشاريع ذات الصلة، وهو مشروع ذكاء اصطناعي تابع لمؤسسة لينكس.
اقرأ المزيد
الذكاء الاصطناعي
نموذج لغوي