Die algorithmische Decke durchbrechen: Effizientes generatives Pretraining mit induktivem Moment Matching (IMM)
Luma Labs stellt Inductive Moment Matching (IMM) vor, eine neue Pretraining-Technik, die die Stagnation algorithmischer Innovation im generativen Pretraining adressiert. IMM übertrifft Diffusionsmodelle sowohl in der Sample-Qualität als auch in der Sample-Effizienz deutlich und erzielt dabei eine über zehnfache Steigerung. Durch die Einbeziehung des Ziel-Zeitschritts verbessert IMM die Flexibilität jeder Inferenz-Iteration und überwindet die Grenzen der linearen Interpolation in Diffusionsmodellen. Experimente zeigen State-of-the-art FID-Scores auf ImageNet und CIFAR-10 sowie eine höhere Trainingstabilität. Diese Forschung markiert einen bedeutenden Fortschritt in generativen Pretraining-Algorithmen und ebnet den Weg für zukünftige Fortschritte in multimodalen Basismodellen.
Mehr lesen