Google a lancé un projet open source baptisé Gameface. Le but : pouvoir utiliser un curseur d'ordinateur sans les mains, mais à l'aide des mouvements du visage. L'intérêt est principalement d'aider les personnes handicapées de leurs membres pour qu'elles puissent utiliser un ordinateur avec le moins de contraintes possibles.
Parler d’intelligence artificielle ou de la dernière fonctionnalité d’Android, c’est bien, mais si ce n’est que ça, cela ne fait pas nécessairement avancer la société, surtout en matière d’accessibilité. Google a présenté lors de sa conférence I/O 2023 le projet Gameface, annoncé comme « une nouvelle souris de jeu mains libres open source ».
Une souris qui n’en est pas vraiment une
En fait, Gameface ne se présente pas sous la forme d’une souris de gaming, mais d’un logiciel. En effet, ce dernier suit les mouvements de la tête de l’utilisateur en n’ayant besoin que d’une webcam. L’avantage, c’est qu’il n’y a pas besoin de matériel coûteux, comme une souris adaptée à un handicap précis ou à un ensemble de capteurs de suivi de mouvements.
Les mouvements et gestes effectués sont reconnus par des modèles d’apprentissage automatique reliés par un outil nommé MediaPipe, qui permettent de déplacer le curseur ou de réaliser des clics. Le logiciel place 486 points sur le visage de son utilisateur et crée un maillage. Pour Lance Carr, joueur de World of Warcraft atteint de dystrophie musculaire qui a aidé à la création de Gameface, « c’est tellement précis que je peux même écrire en cursif ».
Afin de s’adapter à tous les utilisateurs, des paramètres logiciels permettent de régler le déclenchement d’une action du curseur en fonction de l’intensité de leur geste. Gameface, comme son nom l’indique, est surtout pensé pour les joueurs, la pratique du jeu vidéo pouvant demander une certaine réactivité et une certaine précision, cela représente un vrai besoin aujourd’hui.
L’outil Gameface est toujours en cours de développement, mais son code source est disponible sur Github.
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
Gérer mes choix