NVIDIA Lyra 2.0 : génère un monde 3D persistant à partir d’une seule image
NVIDIA vient de présenter Lyra 2.0, un nouveau cadre de travail exploitant l’intelligence artificielle. Son but ? Transformer une simple photographie en un environnement 3D navigable, ouvrant des perspectives pour le développement de jeux et la simulation. Voici les détails de cette technologie.
Comment Lyra 2.0 fonctionne-t-il ?
NVIDIA a dévoilé Lyra 2.0, un cadre d’intelligence artificielle capable de créer un univers 3D explorable à partir d’une seule image. Développé par le Spatial Intelligence Lab (SIL) du géant américain, il marie la génération de vidéo par IA et la reconstruction 3D, une avancée présentée avant SIGGRAPH Asia 2026. Cette technologie donne à l’utilisateur le contrôle de la trajectoire de la caméra, créant des vues nouvelles au fur et à mesure de son déplacement.
L’intérêt principal de Lyra 2.0 réside dans sa capacité à résoudre deux faiblesses classiques de l’IA générative : l’oubli spatial et la dérive temporelle. Le premier phénomène se produit quand le modèle oublie des zones déjà générées, risquant d’y créer des structures incohérentes. La seconde désigne l’accumulation progressive d’erreurs visuelles et géométriques lors d’une génération prolongée.
Pour y remédier, les chercheurs de NVIDIA ont conçu un système de mémoire spatiale qui récupère les images historiques pertinentes grâce à des informations géométriques 3D. De plus, le modèle s’entraîne sur ses propres sorties imparfaites, apprenant ainsi à corriger les erreurs plutôt qu’à les amplifier.
Les séquences vidéo produites peuvent ensuite être reconstruites en gaussiennes 3D (splats) ou en maillages polygonaux. Cela permet un rendu en temps réel et l’export des environnements vers des applications comme NVIDIA Isaac Sim.
Les gains de performance sont notables. NVIDIA a développé un modèle distillé qui réduit le processus de génération vidéo de 35 étapes de débruitage à seulement quatre, divisant le temps de génération par environ 13. Selon l’étude, produire un segment de 80 images prend environ 15 secondes sur un seul GPU NVIDIA GB200, contre 194 secondes avec le modèle complet. Attention, cela ne correspond pas à une génération de monde en temps réel, qui reste très gourmande en ressources.
La technologie reste pour l’instant cantonnée aux environnements majoritairement statiques. La génération de scènes dynamiques et quelques incohérences visuelles occasionnelles représentent encore des défis.
Les implications pour le jeu vidéo sont néanmoins intéressantes. Cette approche, différente de celle d’un système comme Project Genie de Google, repose sur la reconstruction du contenu généré en une géométrie 3D explicite, utilisable dans des moteurs de simulation. Nous sommes encore loin de créer un jeu complet à partir d’une seule image, mais ces avancées pourraient faire de l’IA un outil précieux pour les développeurs.
NVIDIA a rendu l’implémentation de Lyra 2.0 disponible sur GitHub et les poids des modèles sur Hugging Face, ces derniers étant soumis à une licence restrictive pour la recherche.
