ما بعد BPE: مستقبل تقسيم الكلمات في نماذج اللغات الكبيرة

تتناول هذه المقالة تحسينات في أساليب تقسيم الكلمات في نماذج اللغات الكبيرة المدربة مسبقًا. يتساءل الكاتب عن طريقة ترميز أزواج البايت (BPE) الشائعة الاستخدام، ويبرز أوجه قصورها في معالجة الكلمات الفرعية في بداية الكلمات وداخلها. وتُقترح بدائل، مثل إضافة قناع لكلمة جديدة. علاوة على ذلك، يجادل الكاتب ضد استخدام خوارزميات الضغط لمرحلة ما قبل المعالجة، وينادي بنمذجة اللغات على مستوى الأحرف، مع رسم أوجه التشابه مع الشبكات العصبية المتكررة (RNN) ونماذج الانتباه الذاتي الأكثر عمقًا. ومع ذلك، تُشكل التعقيد التربيعي لآلية الانتباه تحديًا. يقترح الكاتب نهجًا قائمًا على هيكل الشجرة، باستخدام تسلسلات فرعية مُقيدة بنوافذ واهتمامًا هرميًا لتقليل التعقيد الحسابي مع التقاط هيكل اللغة بشكل أفضل.