FramePack : Un modèle révolutionnaire de prédiction d'image suivante pour la génération de vidéos IA
FramePack est une architecture révolutionnaire de réseau neuronal pour la prédiction de l'image suivante qui compresse les contextes d'entrée à une longueur fixe, rendant la charge de travail de génération indépendante de la longueur de la vidéo. Cela permet une complexité de calcul O(1) pour le streaming, établissant une nouvelle référence dans la génération de vidéos IA. Il génère des vidéos de haute qualité en utilisant seulement 6 Go de mémoire GPU sur les ordinateurs portables avec RTX 3060. La vitesse de génération atteint 1,5 à 2,5 secondes par image sur une RTX 4090, mais est 4 à 8 fois plus lente sur les ordinateurs portables avec 3070ti/3060. Sa méthode d'échantillonnage bidirectionnelle élimine efficacement le problème courant de dérive dans la génération de vidéos.