Cette IA de Nvidia pourrait rendre les jeux vidéo photoréalistes

Nvidia présente un nouveau modèle IA capable de transformer quelques photos en une scène 3D, le tout en quelques secondes.

« Il y a 75 ans, Polaroid a rendu possible l’impression d’une photo en quelques minutes. Maintenant l’IA (intelligence artificielle) transforme des photos 2D en scènes 3D en quelques secondes. » Voilà peu ou prou le projet qui vient d’être présenté par la branche recherche de Nvidia, lors de sa conférence annuelle dédiée aux développeurs, Nvidia GTC, en plus de sa nouvelle architecture Nvidia Hopper et de l’Omniverse Cloud.

Une petite vidéo présente la fonctionnalité :

En clair, Nvidia a présenté un modèle reposant sur un réseau neuronal, qui en partant de quelques douzaines de photos, est capable de créer une scène en 3D. Le modèle va ainsi combler les trous entre les différentes images.

Une vitesse folle

Le plus épatant n’est pas tant que Nvidia parvienne à passer de quelques photos à une scène 3D, mais c’est plutôt que le constructeur de cartes graphiques affirme y parvenir à une vitesse très importante, proche de l’instantanéité.

Pour ce faire, Nvidia s’est reposé sur une technologie appelée Neural radiance fields (aussi appelée NeRF). Elle fonctionne un peu comme une image matricielle, qui va venir capturer de manière très dense la façon dont la lumière se comporte et rayonne d’un objet à l’autre dans une scène.

La firme de Santa Clara explique que son modèle demande seulement quelques seconds pour s’entraîner et quelques douzaines (tout de même) de photos, ainsi que les données provenant de l’appareil les ayant capturés, pour créer la scène 3D en quelques dizaines de millisecondes.

Aussi important que le JPEG, ça reste à prouver mais c’est possible

Nvidia a même donné un nom à ce modèle : Instant NeRF, pour bien sous-entendre le côté quasi instantané de la chose, parfois 1000 fois plus rapide que d’anciens modèles NeRF. Nvidia a de grandes attentes à son égard. Pour s’en convaincre, il suffit de lire cette comparaison de David Luebke, vice-président en recherches graphiques. Pour lui ce nouveau processus pourrait être aussi important que la compression JPEG pour la photo 2D, rien que ça.

En termes d’usages concrets, Nvidia peut parier sur des très nombreux cas. Le plus populaire et celui qui vient tout suite à l’esprit, c’est l’intégration de telles scènes 3D photoréalistes dans un jeu vidéo, peu comme les intégrations de monuments en 3D très réaliste dans Microsoft Flight Simulator. Ce serait bien entendu très impressionnant.

Mais on peut penser à de nombreuses autres débouchées : Nvidia évoque par exemple la possibilité d’entrainer « des robots et des voitures autonomes à comprendre la taille et la forme des objets du monde réel ».

Une utilisation en architecture est évidemment sur la table, ou encore dans le divertissement, qui consisterait « générer rapidement des représentations numérique d’environnements réels que des créateurs pourraient ensuite modifier » ou intégrer à des expériences audiovisuelles ou vidéoludiques. Vous l’aurez compris, il n’est pas impossible que vous entendiez parler à nouveau de l’Instant NeRF de Nvidia.