Quebrando o Teto Algorítmico: Pré-treinamento Gerativo Eficiente com Correspondência de Momentos Indutiva (IMM)

A Luma Labs apresenta o Inductive Moment Matching (IMM), uma nova técnica de pré-treinamento que aborda a estagnação na inovação algorítmica no pré-treinamento gerativo. O IMM supera significativamente os modelos de difusão em qualidade de amostra e eficiência de amostragem, obtendo um aumento de mais de dez vezes nesta última. Ao incorporar o passo de tempo de destino, o IMM aprimora a flexibilidade de cada iteração de inferência, superando as limitações da interpolação linear em modelos de difusão. Os experimentos demonstram pontuações FID de última geração no ImageNet e CIFAR-10, além de estabilidade de treinamento superior. Esta pesquisa representa um avanço significativo nos algoritmos de pré-treinamento gerativo, abrindo caminho para avanços futuros em modelos de base multimodais.