YuE：長編音楽生成のためのオープンファウンデーションモデル

研究者たちは、LLaMA2アーキテクチャに基づくオープンファウンデーションモデルのファミリーであるYuEを発表しました。これは、長編音楽生成、特に歌詞から楽曲を生成するという難しい課題に取り組んでいます。YuEは最長5分間の音楽を生成し、歌詞の一貫性、首尾一貫した音楽構造、そして魅力的なメロディーと伴奏を維持します。これは、トラック非依存の次トークン予測、構造的漸進的コンディショニング、そしてマルチタスク、マルチフェーズの事前トレーニングレシピによって実現されています。さらに、改良されたコンテキスト学習により、多様なスタイル転送（例：日本のシティポップから英語のラップへの変換）と双方向生成が可能になります。評価の結果、YuEは音楽性とボーカルの機敏さにおいて、一部の独自システムに匹敵するか、あるいはそれを上回ることを示しています。ファインチューニングにより、追加のコントロールとマイナー言語のサポートが強化されます。さらに、生成を超えて、YuEの学習済み表現は音楽理解タスクでも高い性能を示し、MARBLEベンチマークで最先端の方法に匹敵するか、それを上回る結果を達成しています。