SpikingBrain: Un Modelo de Lenguaje Grande Inspirado en el Cerebro y Altamente Eficiente

SpikingBrain es un modelo de lenguaje grande de 7B parámetros inspirado en los mecanismos cerebrales. Integra atención híbrida eficiente, módulos MoE y codificación de picos, respaldados por un pipeline de conversión universal compatible con el ecosistema de modelos de código abierto. Esto permite un preentrenamiento continuo con menos del 2% de los datos, logrando un rendimiento comparable a los modelos de código abierto convencionales. Además, la estructura, los operadores, las estrategias paralelas y las primitivas de comunicación se adaptan a clústeres que no son NVIDIA (MetaX), garantizando un entrenamiento e inferencia a gran escala estables. SpikingBrain logra más de 100 veces de aceleración en TTFT para secuencias de 4M tokens, mientras que la generación de picos ofrece más del 69% de escasez a nivel micro. Combinado con la escasez MoE a nivel macro, estos avances brindan una guía valiosa para el diseño de chips neuromórficos de próxima generación. El repositorio proporciona la implementación completa y los pesos de SpikingBrain-7B, incluidas las versiones HuggingFace, inferencia vLLM y cuantizada, permitiendo una implementación e investigación flexibles en varios escenarios.