ACE-Step : Une avancée majeure dans les modèles fondamentaux de génération musicale

ACE-Step est un nouveau modèle fondamental open source pour la génération de musique qui intègre la génération basée sur la diffusion avec un Autoencodeur de Compression Profonde et un transformateur linéaire léger. Cette approche surmonte les compromis entre vitesse, cohérence et contrôlabilité rencontrés dans les modèles LLM et de diffusion existants. ACE-Step génère jusqu'à 4 minutes de musique en 20 secondes sur un GPU A100 — 15 fois plus vite que les modèles de base LLM — tout en maintenant une cohérence musicale supérieure et un alignement des paroles. Il prend en charge divers styles, genres et 19 langues, et offre des mécanismes de contrôle avancés tels que le clonage vocal, l'édition des paroles et le remixage. Le projet vise à être la « Stable Diffusion » de l'IA musicale, fournissant une architecture flexible pour les outils de création musicale futurs.