Créez des vidéos AI sur votre PC gamer avec seulement 6 Go de VRAM !

Une avancée majeure dans la génération vidéo rend désormais possible la création de clips d’IA complets même sur des ordinateurs portables de jeu. Découvrez comment cette technologie permet des résultats de haute qualité avec une demande de mémoire réduite.

Cette avancée majeure provient de Lvmin Zhang de GitHub et de Maneesh Agrawala de l’Université de Stanford. Le duo a développé FramePack, une architecture de réseau neuronal qui permet une diffusion vidéo de haute qualité avec seulement 6 Go de VRAM. C’est un accomplissement considérable, surtout compte tenu de la taille du modèle – 13 milliards de paramètres – qui lui permet de générer des clips complets de 60 secondes à 30 FPS en utilisant uniquement un GPU de milieu de gamme.

Le secret réside dans le fonctionnement de FramePack. Les modèles traditionnels de diffusion vidéo se basent sur des images générées précédemment pour prédire la suivante. À mesure que la longueur de la vidéo augmente, le « contexte temporel » – le nombre d’images antérieures que le modèle doit prendre en compte – augmente également, entraînant une demande en mémoire plus élevée. C’est pourquoi la plupart des modèles nécessitent 12 Go de VRAM ou plus pour fonctionner efficacement.

FramePack bouleverse cette dynamique. Au lieu de laisser l’utilisation de la mémoire augmenter avec des clips plus longs, il compresse les images d’entrée en fonction de leur importance, conservant un contexte de longueur fixe et gardant ainsi l’empreinte mémoire compacte et constante, quel que soit la durée de la vidéo.

Cette innovation permet au modèle de traiter des milliers d’images, même avec de grandes architectures, sur des GPU de type portable. Elle permet également un entraînement avec des tailles de lot comparables à celles utilisées dans les modèles de diffusion d’images.

Mais FramePack ne se contente pas de réduire les exigences en mémoire, il s’attaque également à un problème courant : le dérive­ment, où la qualité vidéo se dégrade avec le temps. En utilisant des schémas de compression intelligents et des techniques de planification, FramePack aide à maintenir la consistance visuelle du début à la fin.

Pour couronner le tout, le modèle inclut une interface graphique conviviale. Les utilisateurs peuvent télécharger des images, entrer des invites textuelles et voir un aperçu en direct au fur et à mesure que les cadres sont générés. Sur un RTX 4090, les vitesses de génération optimisées atteignent jusqu’à 0,6 image par seconde. Naturellement, la performance est inférieure sur des GPU moins puissants, mais même un RTX 3060 peut le gérer.

Actuellement, FramePack prend en charge les GPU NVIDIA des séries RTX 3000, 40 et la nouvelle série 50, à condition qu’ils supportent les formats de données FP16 ou BF16. Aucune prise en charge confirmée n’existe encore pour les GPU AMD ou Intel, mais le modèle fonctionne sur plusieurs systèmes d’exploitation, y compris Linux.

Vous pouvez trouver tous les détails du modèle et le code source sur GitHub.