Les avatars moqués de Meta sont devenus hyperréalistes

Mark Zuckerberg a pu faire la démonstration de sa technologie « Codec Avatar » pour la première fois et le résultat est très impressionnant. On est loin des avatars façon Mii dévoilés l'année dernière et régulièrement moqués.

En août 2022, Meta lançait Horizon Worlds en France, sa plateforme de métavers. Le problème : les graphismes des avatars et plus généralement des univers en 3D n’étaient pas au goût des internautes. Ce qui fait que sur les réseaux sociaux, le métavers de Meta ainsi que Mark Zuckerberg ont été moqués, jusqu’à en devenir un meme. Probablement vexé, le PDG de l’entreprise a semble-t-il mis les bouchées double sur la technologie. Il est apparu dans le podcast de Lex Fridman pour une interview où les deux interlocuteurs étaient en avatar. Le résultat est impressionnant.

Le métavers est réel, du moins ses graphismes

Les jambes sont désormais là, et les visages plus que réalistes. « On a l’impression d’être dans la même pièce », déclare Lex Fridman durant le podcast, comme le rapporte Futurism. Il va même plus loin : « c’est vraiment la chose la plus incroyable que j’aie jamais vue. »

[ytpub:MVYrJJNdrEg]

Durant une heure de conversation, les deux hommes n’étaient pas du tout au même endroit, mais tous deux équipes de casques Quest Pro. Leurs avatars étaient quant à eux réunis dans le métavers, affichés par un portrait 3D sur fond noir. Ils ont abordé plusieurs thématiques : le métavers (bien que le mot n’ait pas été prononcé par Mark Zuckerberg), les jeux vidéo, la réalité virtuelle, etc.

Une visioconférence difficile à mettre en place, mais qui pourrait être le futur

Afin de réaliser cette interview, Lex Fridman et Mark Zuckerberg ont été modélisés en 3D. Les scans sont approfondis au niveau du visage afin de mieux transmettre les micro-expressions faciales. Un élément très important pour donner de l’humanité aux avatars et surtout de ne pas les faire paraître étrange. Cela a pris plusieurs heures et demandé des centaines de caméras.

C’est le casque de réalité virtuelle qui détecte les expressions faciales et les retransmet dans les avatars en temps réel. Mark Zuckerberg précise qu’« il peut envoyer une version codée de ce à quoi vous êtes censé ressembler sur le câble ». L’explication technique est que cette méthode est plus efficace en termes de bande passante que l’envoi en direct d’un flux vidéo. Cela pousse le Quest Pro dans ses retranchements, mais cela semble fonctionner.

Il est à préciser que la démonstration n’a pas été réalisée en direct, probablement pour des raisons techniques là encore. De plus, on pourrait questionner les expressions de Lex Fridman et Mark Zuckerberg : ces deux personnes ne se sont pas montrées très expressives. Si cela fait partie de leur nature, on ne sait pas si c’était une nécessité pour la démonstration.

Des avatars Mii aux modèles hyperréalistes, il y a encore quelques pas : cela coûte toujours très cher et demande du matériel. Mais selon les dires de Mark Zuckerberg, la technologie de balayage rapide utilisée ici devrait être réalisable depuis un smartphone, non sans limitations graphiques, peut-on supposer.