Pour utiliser une souris sans les mains, Google propose de faire des grimaces
Parler d'intelligence artificielle ou de la dernière fonctionnalité d'Android, c'est bien, mais si ce n'est que ça, cela ne fait pas nécessairement avancer la société, surtout en matière d'accessibilité. Google a présenté lors de sa conférence I/O 2023 le projet Gameface, annoncé comme « une nouvelle souris de jeu mains libres open source ».
Une souris qui n'en est pas vraiment une
En fait, Gameface ne se présente pas sous la forme d'une souris de gaming, mais d'un logiciel. En effet, ce dernier suit les mouvements de la tête de l'utilisateur en n'ayant besoin que d'une webcam. L'avantage, c'est qu'il n'y a pas besoin de matériel coûteux, comme une souris adaptée à un handicap précis ou à un ensemble de capteurs de suivi de mouvements.
https://www.youtube.com/watch?v=WKr8qOJvNas
Les mouvements et gestes effectués sont reconnus par des modèles d'apprentissage automatique reliés par un outil nommé MediaPipe, qui permettent de déplacer le curseur ou de réaliser des clics. Le logiciel place 486 points sur le visage de son utilisateur et crée un maillage. Pour Lance Carr, joueur de World of Warcraft atteint de dystrophie musculaire qui a aidé à la création de Gameface, « c'est tellement précis que je peux même écrire en cursif ».
Afin de s'adapter à tous les utilisateurs, des paramètres logiciels permettent de régler le déclenchement d'une action du curseur en fonction de l'intensité de leur geste. Gameface, comme son nom l'indique, est surtout pensé pour les joueurs, la pratique du jeu vidéo pouvant demander une certaine réactivité et une certaine précision, cela représente un vrai besoin aujourd'hui.
L'outil Gameface est toujours en cours de développement, mais son code source est disponible sur Github.