Nvidia a dévoilé une nouvelle technologie de vidéo en super slow-mo faisant appel à des algorithmes complexes, offrant un rendu vraiment impressionnant sans besoin d’un capteur photo spécial.

Vous aimez les vidéos au ralenti ? La question est rhétorique : évidemment que vous aimez les vidéos au ralenti. Celles-ci sont absolument fascinantes, bien qu’il soit difficile de savoir précisément… pourquoi.

La tendance est en tout cas bien réelle dans l’univers mobile, les capteurs s’étant peu à peu améliorés jusqu’à offrir un super slow-mo à 960 fps. Et s’il était possible de faire tout aussi bien, voire même mieux, grâce à l’intelligence artificielle et à l’apprentissage automatique ? Nvidia le prouve.

Nvidia fait du super ralenti uniquement grâce à son logiciel

Arrivé à ce point et en parlant de vidéo au ralenti, je sais pertinemment que vous voulez avant tout voir la vidéo et profiter de ces ralentis si jouissifs. On se retrouve donc après le visionnage :

Lien YouTube S’abonner à FrAndroid

C’était agréable, n’est-ce pas ? Eh oui : ces vidéos ralenties (ou re-ralenties encore plus) n’ont été réalisées « qu’à partir » de l’aide de deux réseaux neuronaux créés par des scientifiques de Nvidia, soit… du logiciel.

À appliquer même après capture

Aussi, le grand bénéfice de cette solution est qu’elle peut être appliquée après avoir capturé une vidéo. L’algorithme de Nvidia utilise deux réseaux neuronaux en tandem. Le premier estime le flux optique, les mouvements de chaque objet en avant comme en arrière entre les images. Il crée ensuite un « champ de flux », un vecteur 2D des mouvements prédits à insérer entre les images.

Le second s’en sert pour interpoler des images recréées à partir de la vidéo source tout en déterminant l’évolution du flux optique potentiel. Ainsi, il est possible selon Nvidia de ralentir par un facteur 8, 15 ou même plus n’importe quelle vidéo en utilisant son algorithme.

Le résultat est en tout cas plus qu’impressionnant, la seule erreur visible à l’œil nu de son algorithme sur sa vidéo de présentation se situant sur la jambe droite du joueur de hockey lors de sa chute. Le reste est presque totalement transparent.

Pas encore prêt à une commercialisation

Ceci étant, ne vous attendez pas à voir débarquer la technologie de Nvidia dans votre smartphone de si tôt. Cette technique utilise en effet des GPU Nvidia Tesla V100 ainsi qu’un framework d’apprentissage automatique PyTorch très puissant.

Il réclame également beaucoup d’optimisation avant que celui-ci ne soit capable de réaliser ce rendu en temps réel. Si une sortie commerciale a lieu à l’avenir, il y a fort à parier que le rendu sera créé dans le cloud plutôt que localement.