YuE: نموذج أساس مفتوح لإنشاء الموسيقى طويلة الشكل

يقدم الباحثون YuE، وهي مجموعة من نماذج الأساس المفتوحة القائمة على بنية LLaMA2، والتي تتناول مشكلة تحويل الكلمات إلى أغاني الصعبة في مجال إنشاء الموسيقى طويلة الشكل. يُنتج YuE ما يصل إلى خمس دقائق من الموسيقى، مع الحفاظ على محاذاة الكلمات، وهيكل متماسك، وألحان آسرة مع مرافقة. ويتم تحقيق ذلك من خلال التنبؤ بالرمز التالي غير المقترن بالمسار، والشرط التدريجي الهيكلي، ووصفة تدريب مسبق متعددة المهام ومتعددة المراحل. يُمكن التعلم في السياق المُحسّن من نقل الأنماط المتنوعة (مثلًا، من موسيقى الـ J-Pop إلى موسيقى الراب الإنجليزية) والإنشاء ثنائي الاتجاه. تُظهر التقييمات أن YuE يُطابق أو يتجاوز حتى الأنظمة الخاصة من حيث الموسيقية ورشاقة الصوت. يضيف الضبط الدقيق عناصر تحكم ودعمًا للغات الأقل انتشارًا. كما تُظهر تمثيلات YuE أيضًا تفوقًا في مهام فهم الموسيقى، محققة نتائج متطورة في مقياس MARBLE.