Une nuit d’illumination pour la réalité virtuelle… et peut être les origines d’une trouvaille au tournant d’un discours inattendu. Quelques privilégiés ont pu profiter du discours surprise de Mach Kobayashi, un ingénieur software chez Google, et ancien de Pixar autour d’une technique qui pourrait faire se rejoindre animation et réalité virtuelle plus tôt que prévu.

Article mis à jour le 24 août 2015.

pixar

Discours surprise de Google au SIGGRAPH 2015

Cette photo postée sur Twitter par Mach Kobayashi, ingénieur software chez Google, est la preuve de sa présence lors d’une AfterParty donnée par Pixar… et de son discours surprise à l’occasion du SIGGRAPH 2015 (Conférence annuelle autour de la création d’images numériques couplée à une conférence dédiée à l’animation). Matthew Terndrup, spécialiste de la réalité virtuelle et rédacteur sur UploadVR était présent lors de cette soirée très « VIP » et a raconté avec force émerveillement le discours de l’ingénieur. Mach Kobayashi, le conférencier, travaille chez Google, partie logiciel, mais c’est aussi un ancien des effets spéciaux chez Pixar et il aurait mentionné avoir participé à de nombreux succès du célèbre studio d’animation. Mais qu’a t-il fait miroiter ce soir là ?

Monsters University

Exemple du traitement de la lumière sur une image de Monsters University

Pour en savoir plus, nous avons contacté Mach Kobayashi, car l’article d’origine de Matthew Terndrup faisait état d’une soirée exceptionnelle, où une information incroyable avait filtré. Il était donc important d’en avoir le cœur net et d’obtenir des précisions à ce sujet. Voici les propos de Mach Kobayashi au sujet de la technique évoquée :

« Il y a un vieux format d’image que l’on appelle la stéréo Omnidirectionnelle. Vous pouvez l’utiliser pour voir une image dans toutes les directions possibles. J’ai proposé une implémentation pour créer des images comme lorsque l’on utilise le logiciel RenderMan. L’idée de base, c’est d’imaginer le mouvement de vos deux yeux dans une scène qui vous fait face. Ensuite, on crée un rendu vertical pour chaque tranche d’image et pour chaque œil, du bas en haut. Il faut imaginer que lorsque l’on tourne la tête, on obtient le même rendu pour chaque œil. Et ainsi de suite jusqu’à ce que votre tête ait repris sa position d’origine. Si l’on imagine combiner ces différentes « tranches » pour une seule image, vous pouvez utiliser cette image pour texturer une sphère pour chaque œil dans la réalité virtuelle. Le résultat donnerait lieu à une image stéréo multidirectionnelle. C’est l’idée. J’ai proposé deux techniques pour faire cela dans RenderMan :
– Un shader de surface que l’on pourrait appliquer à un carré placé en face de la caméra qui enverrait un rayon tracé restitué grâce à la méthode décrite plus haut,
– Un RIS (un rendu) avec shader, qui pourrait comprendre le rayon initial de la manière dont j’ai parlé précédemment.
Il y a toutefois plusieurs soucis : cela ne marche pas bien avec des objets très proches de vous et directement devant ou derrière vous. Cela ne fonctionne également pas si vous penchez la tête au lieu de la tourner perpendiculairement à votre corps (un peu comme si un smartphone actuel ne s’adaptait pas lorsque l’on tourne l’écran). Mais la plupart du temps, c’est un effet tout de même très intéressant. Lors de mon speech, j’ai démontré cela pour une image simple, mais vous pourriez tout à fait obtenir un rendu de plusieurs images et créer une animation en utilisant cette technique. La vraie raison qui fait que cette technique est utile pour les gens, c’est que pour la plupart, ils regardent ce que vous pouvez transformer en réalité virtuelle. Mais cette technique vous permet surtout d’économiser de nombreuses heures passées à créer des images, tout en ayant une imagerie VR bien plus jolie. »

Ce dont a fait mention Mach Kobayashi, c’est une astuce qui permet de transformer des images animées en réalité immersive. Pour bien maîtriser le sujet,  il faudrait maîtriser le rendu 3D et de la technique de ray tracing (lancer de rayons) propre aux animateurs et concepteurs d’images dites de synthèse. Grâce à cette technique, on peut insuffler de la lumière dans un pixel et ainsi reproduire l’effet qu’aurait cette lumière dans une interaction entre plusieurs objets virtuels. C’est ce qui donne son rendu si réaliste à un film d’animation Pixar passé par ce traitement. En mars dernier, Pixar a mis à disposition du public gratuitement son logiciel Renderman. C’est donc grâce à un peu de code et une bonne connaissance du fonctionnement du ray tracing que Mac Kobayashi est parvenu à convertir des animations depuis le logiciel Renderman en imageries de réalité virtuelle à 360° et donc pleinement immersives. Il est parvenu à obtenir un rendu visuel en 360° à partir d’images 3D déjà conçues.

 

renderman

Un aperçu du logiciel Renderman destiné aux rendus 3D chez Pixar

Une découverte qui simplifie l’accès à la VR

Lors de cette soirée, Mach Kobayashi a avant tout donné un « show » pour un parterre d’adeptes d’animation. Après son speech, il aurait (selon la légende) clôturé son discours en envoyant un Google Cardboard à la foule, et en leur criant : « Amusez-vous !« . Il a également présenté un diagramme (assez flou) de sa solution :

Pixar

Bien que floue et un peu grand-guignolesque, cette présentation semble avoir impressionné les amateurs. Appliquée, cette technique pourrait permettre d’atteindre un très haut niveau de réalisme dans les rendus 3D, le tout plus simplement qu’avec les méthodes existantes.  La méthode serait en outre extrêmement coûteuse et pour l’instant trop lente pour être appliquée à l’univers du jeu vidéo. Elle pourrait en revanche être satisfaisante pour des films en réalité virtuelle, au cinéma ou avec un téléviseur. L’histoire ne dit pas si les animateurs de Pixar commencent déjà à se relayer pour serrer la main de cet employé Google et si l’idée de Mach Kobayashi révolutionnera le monde de l’animation, mais il est à espérer que la conception de jeux en réalité virtuelle sera l’une des prérogatives des studios, et ce, pour très bientôt.