Rompiendo el Techo Algorítmico: Preentrenamiento Generativo Eficiente con Correspondencia de Momentos Inductiva (IMM)
Luma Labs presenta Inductive Moment Matching (IMM), una nueva técnica de preentrenamiento que aborda el estancamiento en la innovación algorítmica dentro del preentrenamiento generativo. IMM supera significativamente a los modelos de difusión en calidad de muestra y eficiencia de muestreo, logrando un aumento de más de diez veces en esta última. Al incorporar el paso de tiempo objetivo, IMM mejora la flexibilidad de cada iteración de inferencia, superando las limitaciones de la interpolación lineal en los modelos de difusión. Los experimentos demuestran puntuaciones FID de vanguardia en ImageNet y CIFAR-10, junto con una estabilidad de entrenamiento superior. Esta investigación representa un avance significativo en los algoritmos de preentrenamiento generativo, allanando el camino para futuros avances en modelos de base multimodales.
Leer más