SpikingBrain: 뇌에서 영감을 받은 고효율 대규모 언어 모델

SpikingBrain은 뇌 메커니즘에서 영감을 받은 70억 매개변수의 대규모 언어 모델입니다. 하이브리드 효율적인 어텐션, MoE 모듈 및 스파이크 인코딩을 통합하고 오픈소스 모델 생태계와 호환되는 범용 변환 파이프라인으로 지원됩니다. 이를 통해 2% 미만의 데이터로 지속적인 사전 훈련이 가능하며 주요 오픈소스 모델과 비슷한 성능을 달성합니다. 또한 비NVIDIA(MetaX) 클러스터에 맞게 프레임워크, 연산자, 병렬 전략 및 통신 기본 요소를 조정하여 대규모 훈련 및 추론의 안정성을 보장합니다. SpikingBrain은 4M 토큰 시퀀스의 TTFT에서 100배 이상의 속도 향상을 달성하며 스파이킹은 마이크로 수준에서 69% 이상의 스파스성을 제공합니다. 매크로 수준의 MoE 스파스성과 결합하여 이러한 발전은 차세대 뉴로모픽 칩 설계에 귀중한 지침을 제공합니다. 이 저장소는 HuggingFace 버전, vLLM 추론 버전 및 양자화 버전을 포함한 SpikingBrain-7B의 전체 구현과 가중치를 제공하여 다양한 시나리오에서 유연한 배포 및 연구를 가능하게 합니다.