Briser le plafond algorithmique : pré-entraînement génératif efficace avec l’appariement de moments inductif (IMM)

Luma Labs présente Inductive Moment Matching (IMM), une nouvelle technique de pré-entraînement qui s’attaque à la stagnation de l’innovation algorithmique dans le pré-entraînement génératif. IMM surpasse largement les modèles de diffusion en termes de qualité d’échantillon et d’efficacité d’échantillonnage, obtenant un gain de plus de dix fois supérieur. En intégrant le pas de temps cible, IMM améliore la flexibilité de chaque itération d’inférence, surmontant les limites de l’interpolation linéaire dans les modèles de diffusion. Les expériences montrent des scores FID de pointe sur ImageNet et CIFAR-10, ainsi qu’une stabilité d’entraînement supérieure. Cette recherche représente une avancée significative dans les algorithmes de pré-entraînement génératif, ouvrant la voie à des progrès futurs dans les modèles de base multimodaux.