FramePack: Un Modelo Revolucionario de Predicción del Siguiente Frame para la Generación de Vídeo con IA

FramePack es una arquitectura revolucionaria de red neuronal para la predicción del siguiente frame que comprime los contextos de entrada a una longitud fija, haciendo que la carga de trabajo de generación sea independiente de la longitud del vídeo. Esto logra una complejidad computacional O(1) para streaming, estableciendo un nuevo estándar en la generación de vídeo con IA. Genera vídeos de alta calidad usando solo 6 GB de memoria GPU en portátiles con RTX 3060. La velocidad de generación alcanza de 1,5 a 2,5 segundos por frame en una RTX 4090, pero es de 4 a 8 veces más lenta en portátiles con 3070ti/3060. Su método de muestreo bidireccional elimina eficazmente el problema común de deriva en la generación de vídeo.