SpikingBrain：脳に着想を得た高効率大規模言語モデル

SpikingBrainは、脳のメカニズムに着想を得た70億パラメーターの大規模言語モデルです。ハイブリッド効率的なアテンション、MoEモジュール、スパイクエンコーディングを統合し、オープンソースモデルエコシステムと互換性のあるユニバーサルコンバージョンパイプラインによってサポートされています。これにより、2％未満のデータで継続的な事前トレーニングが可能になり、主流のオープンソースモデルと同等の性能を達成します。さらに、非NVIDIA（MetaX）クラスタ向けにフレームワーク、演算子、並列化戦略、通信プリミティブを適応させ、大規模なトレーニングと推論の安定性を確保しています。SpikingBrainは、4MトークンシーケンスのTTFTで100倍以上の高速化を実現し、スパイクはマイクロレベルで69％を超えるスパース性を提供します。マクロレベルのMoEスパース性と組み合わせることで、これらの進歩は次世代ニューロモーフィックチップの設計に貴重な指針を提供します。このリポジトリは、HuggingFaceバージョン、vLLM推論バージョン、量子化バージョンを含むSpikingBrain-7Bの完全な実装と重みを提供し、さまざまなシナリオでの柔軟な展開と研究を可能にします。