Bamba من IBM: التغلب على اختناق التربيع في نماذج المحولات
2025-04-29
تعاني بنية المحولات وراء نماذج اللغة الضخمة اليوم، على الرغم من فعاليتها، من اختناق تربيعي في المحادثات الطويلة. ويعالج نموذج Bamba مفتوح المصدر من IBM هذه المشكلة من خلال الجمع بين نماذج فضاء الحالة (SSMs) والمحولات بذكاء. يقلل Bamba من متطلبات الذاكرة بشكل كبير، مما ينتج عنه سرعة تزيد عن ضعف سرعة المحولات المماثلة مع الحفاظ على الدقة. وقد تم تدريب Bamba على تريليونات من الرموز، وهو جاهز للتعامل مع محادثات تحتوي على ملايين الرموز، وقد يعمل بشكل أسرع حتى خمس مرات مع إجراء المزيد من التحسينات.