RWKV：RNNとTransformerの長所を兼ね備えた新しい言語モデル
2025-01-02
RWKVは、RNN（再帰型ニューラルネットワーク）とTransformerの長所を組み合わせた新しい言語モデルです。従来のTransformerとは異なり、RWKVは線形時間計算量と一定の空間計算量を特徴とし、高速な訓練、無限のコンテキスト長、そしてアテンションフリーを実現しています。現在のバージョンであるRWKV-7では、WebGPUデモ、ファインチューニングツール、高速推論のためのサーバーなど、様々なデモとツールを提供しています。活気のあるコミュニティと多数の関連プロジェクトも擁しており、Linux FoundationのAIプロジェクトでもあります。
AI
言語モデル