Gboard va bientôt traduire la langue des signes

 
Google développe une nouvelle fonctionnalité pour son clavier Gboard permettant de convertir la langue des signes en texte grâce à l’intelligence artificielle et à la caméra frontale du smartphone.

Ces derniers mois, Gboard a connu plusieurs améliorations intéressantes pour fluidifier la saisie de texte. Google a notamment intégré Gemini pour transformer une dictée hésitante, ponctuée d’hésitations ou de reformulations, en un message clair et cohérent, un peu à la manière d’un outil de reformulation automatique appliqué à la voix. Le fabricant a également travaillé sur la touche en forme de planète utilisée pour changer de clavier et sur l’arrêt des ajouts des espaces inutiles.

Une fonctionnalité découverte dans une version bêta

Maintenant, Google s’attaque à la possibilité de traduire la langue des signes. En effet, cette fonction baptisée Sign-to-Text a été repérée dans la version bêta 17.8.3.939743344-arm64-v8a de l’application Gboard, à la suite d’une analyse approfondie du code. Selon Android Authority, l’outil permettrait de traduire la langue des signes directement en texte pour des usages aussi variés que les messages, les e-mails ou les recherches sur le web.

Interface de la fonction Sign To Text du Gboard sous Android // Source : Android Authority

L’utilisateur ferait face à la caméra de son téléphone et commencerait à signer, le texte apparaissant alors automatiquement dans le champ de saisie de l’application ouverte. Ce projet s’appuierait sur les travaux menés depuis plusieurs années par les chercheurs de Google DeepMind sur l’interprétation de la langue des signes par intelligence artificielle.

Le système reposerait sur SignGemma, un modèle que Google a présenté en mai 2025 lors de sa conférence I/O. Il associe vision par ordinateur et réseaux de neurones pour reconnaître des gestes complexes en temps réel.

Un traitement pensé pour protéger la vie privée ?

Avec Google, on peut toujours avoir quelques craintes quant à la confidentialité. Cependant, il semblerait que dans ce cas la vidéo captée par la caméra ne quitterait jamais l’appareil. Elle serait traitée localement afin d’en extraire uniquement les données brutes de gestes, sans conserver les images elles-mêmes. Seules ces données de mouvement, une fois isolées, seraient transmises aux serveurs cloud de Google pour analyse et conversion en mots, avant d’être supprimées une fois le traitement terminé.

Un déploiement encore progressif et limité

Pour l’heure, la fonction Sign-to-Text reste en phase de test interne et n’est pas encore déployée publiquement. Plusieurs sources évoquent un lancement probable d’abord sur les appareils Pixel, avant une extension progressive à d’autres smartphones Android. Tout d’abord, la fonction se concentrerait sur la langue des signes américaine (ASL), la plus documentée et celle sur laquelle les modèles de Google sont les plus performants.

Google prévoirait ensuite d’élargir la prise en charge à d’autres langues des signes nationales, comme la langue des signes italienne. Pour le moment, aucun calendrier de déploiement officiel n’est proposé.

Aucune mention, pour l’instant, de la langue des signes française (LSF) : les seules langues citées sont l’ASL puis la langue des signes italienne. Les utilisateurs francophones devront donc patienter, sans calendrier connu.


Téléchargez notre application Android et iOS ! Vous pourrez y lire nos articles, dossiers, et regarder nos dernières vidéos YouTube.

Recherche IA boostée par
Perplexity