SpikingBrain: نموذج لغة كبير مستوحى من الدماغ وعالي الكفاءة
SpikingBrain هو نموذج لغة كبير يحتوي على 7 مليارات من المعلمات، مستوحى من آليات الدماغ. وهو يدمج الانتباه الهجين الفعال، ووحدات MoE، وتشفير النبضات، مدعومًا بخط أنابيب تحويل عالمي متوافق مع نظام بيئة النماذج مفتوحة المصدر. يسمح هذا بالتدريب المسبق المستمر باستخدام أقل من 2٪ من البيانات مع تحقيق أداء يقارن بأداء نماذج مفتوحة المصدر الرائجة. بالإضافة إلى ذلك، تم تكييف الإطار، والمشغلات، واستراتيجيات التوازي، والبدائيات الاتصالية لعناقيد غير NVIDIA (MetaX)، مما يضمن تدريبًا واستنتاجًا واسعي النطاق ثابتين. يحقق SpikingBrain تسريعًا يزيد عن 100 ضعف في TTFT لتسلسلات 4M-token، بينما يوفر تشفير النبضات أكثر من 69٪ من التفرغ على المستوى المجهري. مع دمج التفرغ MoE على المستوى الكلي، توفر هذه التطورات توجيهًا قيمًا لتصميم رقائق نيورومورفية من الجيل التالي. يوفر المستودع التنفيذ الكامل وأوزان SpikingBrain-7B، بما في ذلك إصدارات HuggingFace، وإصدار الاستنتاج vLLM، والإصدار الكمي، مما يسمح بالنشر والبحث المرنين عبر سيناريوهات مختلفة.