NVIDIA Omniverse crée des animations réalistes basées sur l’IA dans les jeux STALKER 2 et Fort Solis AAA avec Raytracing

NVIDIA a annoncé que sa plate-forme Omniverse jette les bases de l’IA générative dans des jeux comme STALKER 2 et Fort Solis avec RTX.

NVIDIA apporte des animations réelles générées par l’IA avec le ray tracing en temps réel dans STALKER 2 et Fort Solis grâce à Omniverse

Lors de la GDC, NVIDIA a annoncé que ses développeurs de jeux utilisaient sa plate-forme Omniverse et les services cloud AI Foundations récemment annoncés qui permettent aux utilisateurs d’exploiter des LLM personnalisés et une IA générative formée avec leurs données propriétaires. Et cette technologie permet aux développeurs de jeux d’avoir un premier aperçu de l’utilisation de la technologie d’IA générative pour améliorer leur création de jeux et leurs actifs de jeu.

La dernière mise à jour à venir de l’IA générative Omniverse Audio2Face inclut le prise en charge du mandarin, l’animation faciale globale et l’amélioration de la qualité de la synchronisation labiale dans plusieurs langues. Il apporte également le dernier rendu RTX en temps réel et le premier ombrage de diffusion souterraine par ray tracing en temps réel pour un réalisme amélioré.

via Nvidia

Dans un exemple, NVIDIA présente son Ominverse ACE ou Avatar Cloud Engine qui peut être utilisé pour donner vie à des avatars ou à des modèles en créant des voix de personnages expressives à l’aide de l’IA de parole et de traduction en tirant parti de NVIDIA Riva ou ils peuvent utiliser la technologie Omniverse Audio2Face pour l’IA. Animations de personnages 2D et 3D. Voici un aperçu de la technologie NVIDIA Omniverse Audio2Face en action :

Ce qui est encore plus impressionnant à propos de cet aperçu, c’est qu’il est non seulement entièrement généré par l’IA et semble photoréaliste avec des améliorations globales de la qualité de l’animation faciale et de la synchronisation labiale offertes dans plusieurs langues, mais qu’il exploite également les technologies NVIDIA RTX. La scène ci-dessus utilise un ombrage de diffusion souterraine par ray tracing en temps réel ou SSS pour améliorer encore la fidélité visuelle.

Les gens de GSC Game World mettront à profit la technologie Omniverse Audio2Face de NVIDIA dans leur prochain titre AAA STALKER 2 Head of Chernobyl tandis qu’un deuxième studio, Fallen Leaf, utilisera cette technologie dans leur jeu Sci-Fi Thriller à la troisième personne , Fort-Solis.

Dans une autre session de développement, Xihao Fu de Tencent parle d’apporter un rendu de cheveux basé sur des mèches en temps réel avec le ray tracing. Le problème avec le rendu des cheveux en temps réel est que vous devez soit faire des compromis sur les performances ou la qualité car une solution Hair Cards semble générique mais offre de meilleures performances tandis qu’une implémentation de mèches de cheveux est bien meilleure en termes de visuels mais coûte beaucoup de performances à rendre . Xihao souhaite résoudre ce problème en utilisant la technologie RTX de NVIDIA, telle que le ray tracing et le DLSS. Des comparaisons sont faites entre Unreal Engine 5, qui utilise une technique d’anticrénelage temporel / Upsamling, et un filtre spatio-temporel.

Le premier bloc dans la mise en œuvre d’une telle approche dans le ray tracing est la primitive B-Spline, mais comme cela n’est pas disponible pour DXR, le seul autre choix est d’opter pour une primitive personnalisée. Après la création du brin dans DXR à l’aide du ray tracing, un graphique de performances est présenté qui montre comment une NVIDIA GeForce RTX 3090 offre environ 50 % de meilleures performances en utilisant RT que la solution native. Dans une autre comparaison, la mise en œuvre RT se termine plus rapidement que le chemin de rastérisation sur une gamme de différents modèles basés sur des mèches de cheveux.

La conclusion faite est que :

• Le ray tracing est plus rapide que la rastérisation lorsqu’il y a beaucoup de segments.
• Le ray tracing est plus efficace à basse résolution : adapté au pipeline de suréchantillonnage (c’est-à-dire DLSS)

Cela nous amène au deuxième problème abordé dans le sujet et c’est le bruit associé au rendu des cheveux à base de mèches. Pour cela, un filtre spatio-temporel est proposé comme solution car le traçage multi-échantillons a un coût linéaire et sous-linéaire en performance.

Comme le montrent les images ci-dessous, le filtrage spatial fournit de bien meilleurs résultats qui sont encore meilleurs lorsque des filtres temporels sont appliqués.

Cette technologie de rendu de mèches de cheveux peut certainement aider à rendre le contenu génératif NVIDIA Omniverse encore meilleur. Tencent Games adopte également un autre ensemble d’outils Omniverse connu sous le nom d’$ ou Universal Scene Description qui aide les créateurs et les développeurs à établir l’interopérabilité entre leurs outils préférés.

Ci-dessous, la vidéo d’un de nos confrères hardware de la semaine :

Ci-dessous, nos guides d'optimisations dont : Optimiser Windows 11 pour les jeux - Optimiser Windows 10 pour les jeux - Comment réduire latence - Stock PS5