SpikingBrain : Un grand modèle linguistique inspiré du cerveau et hautement efficace

SpikingBrain est un grand modèle linguistique de 7 milliards de paramètres inspiré des mécanismes cérébraux. Il intègre une attention hybride efficace, des modules MoE et un codage par impulsions, supportés par un pipeline de conversion universel compatible avec l'écosystème des modèles open source. Cela permet un pré-entraînement continu avec moins de 2 % des données tout en atteignant des performances comparables à celles des modèles open source classiques. De plus, l'infrastructure, les opérateurs, les stratégies parallèles et les primitives de communication sont adaptés aux clusters non NVIDIA (MetaX), garantissant un entraînement et une inférence à grande échelle stables. SpikingBrain atteint une accélération supérieure à 100 fois en TTFT pour les séquences de 4M jetons, tandis que le codage par impulsions offre une parcimonie supérieure à 69 % au niveau micro. Combiné à la parcimonie MoE au niveau macro, ces progrès fournissent des indications précieuses pour la conception de puces neuromorphiques de nouvelle génération. Le référentiel fournit l'implémentation complète et les poids de SpikingBrain-7B, y compris les versions HuggingFace, l'inférence vLLM et la version quantifiée, permettant un déploiement et une recherche flexibles dans différents scénarios.