Depuis la démonstration fondatrice de Doug Engelbart en 1968, la flèche qui glisse sur nos écrans n’a jamais vraiment évolué. Elle transmettait des coordonnées. Elle cliquait. Elle faisait glisser. Mais elle n’avait aucune conscience de ce qu’elle effleurait. Un tableau Excel, une adresse postale ou une photo de mobilier n’étaient, à ses yeux, que des amas de pixels colorés, sans signification propre.
C’est précisément ce paradigme que Google DeepMind, le laboratoire de recherche en intelligence artificielle d’Alphabet, la maison mère de Google, entend faire voler en éclats avec le Magic Pointer, annoncé récemment lors du Android Show: I/O Edition. Conçu par les chercheurs Adrien Baranes et Rob Marchant, le dispositif intègre le modèle de langage Gemini directement dans le pointeur des nouveaux ordinateurs de Google, les Googlebook. Résultat : le curseur ne se contente plus de localiser, il comprend et il agit.
Là où d’autres entreprises ont misé sur des fenêtres de chatbot séparées obligeant l’utilisateur à copier-coller des contenus et à rédiger des prompts élaborés, Google fait le pari d’une approche radicalement différente : l’IA se déplace avec l’attention de l’utilisateur, résidant dans le pointeur lui-même. L’idée peut sembler simple — voire évidente — mais elle représente un changement majeur dans la façon dont les humains pourront interagir avec les machines.
Les quatre principes au cœur de la conception
Le Magic Pointer repose sur quatre principes fondamentaux.
Le premier est le maintien du flux de travail. En effet, l’IA fonctionne directement dans toutes les applications, sans nécessiter de changer d’onglet ni d’ouvrir un outil externe. Ainsi, on reste parfaitement concentré sur ce que l’on est en train de faire. Le deuxième est le « show and tell » : le système capture automatiquement le contexte visuel et sémantique autour du pointeur. Autrement dit, il voit ce que vous désignez avant même que vous ne décriviez l’élément.
Le troisième principe exploite la puissance du langage naturel et des raccourcis gestuels. L’utilisateur peut dire « déplace ça là-bas » en pointant deux zones distinctes de l’écran, et le système interprète l’intention combinée du geste et de la parole. Enfin, le quatrième principe transforme les pixels en entités sur lesquelles on peut avoir une action : une adresse devient un lien vers Maps, une date devient un événement de calendrier, une photo de meuble devient un élément à visualiser dans son propre salon, etc.
Des cas d’usage concrets et immédiats
Les scénarii d’utilisation sont nombreux. Survoler un tableau de données brutes dans un PDF et prononcer « transforme ça en graphique » suffit : le Magic Pointer délimite les contours du tableau, analyse les données et génère la visualisation, sans copier-coller ni manipulation intermédiaire.
On peut également pointer un bâtiment dans une vidéo YouTube et dire « montre-moi l’itinéraire », ce qui déclenche une recherche Maps ciblée sur le bâtiment spécifique reconnu dans le flux vidéo. Surligner une recette de cuisine et demander à doubler les quantités permet au pointeur de traiter le texte comme un objet structuré, non comme une simple chaîne de caractères.
Quid de la vie privée ?
Attention cependant, car pour être capable de comprendre ce que l’utilisateur désigne, le Magic Pointer doit analyser en continu l’intégralité de l’écran. C’est là que cette fonctionnalité peut faire grincer des dents.
Lors de son annonce, Google n’a pas précisé si les traitements s’effectuent en local, grâce à l’unité de traitement neuronal (NPU) embarquée dans le Googlebook, ou si les données transitent par les serveurs du groupe. La question de la rétention des données — autrement dit, si l’historique des actions du pointeur est conservé pour entraîner les futures versions de Gemini — n’a pas davantage été abordée.
Pour l’heure, la politique de confidentialité associée reste floue et il faudra qu’elle soit aussi limpide que possible pour que chacun puisse la faire sienne ou pas…
Vous pouvez déjà tester cette fonctionnalité depuis cette page.
Le récapitulatif des annonces de l’Android Show 2026
Google vient de dévoiler de profondes modifications dans toutes ses applications logicielles. Google Maps amorce ainsi son plus grand changement avec une refonte en vue 3D et la fonction Immersive Navigation. De son côté, Gemini poursuit son amélioration avec la volonté d’automatiser les tâches avec un remplissage automatique des formulaires notamment. Toujours au niveau des téléphones, la compatibilité native Quick Share avec AirDrop se déploie sur de nombreux smartphones, tandis qu’une flopée de nouveaux émojis font leur apparition.
Sur le volet des autres produits compatibles Android, l’arrivée des Googlebook, les nouveaux PC portables sous Android est à noter. Aussi le déploiement de Gemini sur Android Auto va se faire progressivement sur plus de 250 millions de véhicules.
- Google Maps fait sa plus grande révolution depuis 10 ans
- « Gemini gère la logistique » : comment Google veut automatiser votre vie sur Android
- Découvrez les nouveaux émojis de Google pour Android, place au relief !
- AirDrop sur Android : Google déploie enfin la fonction que tous les utilisateurs attendaient
- « Une réinvention fondamentale » : Google dévoile les Googlebook, sa nouvelle vision du PC portable sous Android
- Adieu Google Assistant : Gemini s’invite dans 250 millions de voitures, et vous pouvez (presque) tout lui demander
- Ultra HDR, mode nuit… Instagram sur Android veut en finir avec 15 ans de mauvaise réputation
- Voici Rambler sur Gboard : comment Gemini transforme votre dictée hésitante en message propre
- Vous allez percer sur TikTok grâce à votre smartphone Pixel
- Pourquoi Google veut mettre fin à la 2G et la 3G sur smartphone avec Android 17
- Avec Create My Widget, Gemini va fabriquer vos widgets Android à la demande
- Google et Revolut ont un plan pour nous protéger des arnaques téléphoniques
- Adobe Premiere arrive sur Android cet été avec une petite surprise signée Samsung
- Wear OS grand absent de l’Android Show : Google a-t-il abandonné nos montres connectées ?
- Aluminium OS, le système d’exploitation des Googlebook, se dévoile en long, en large et en travers
Cet Android Show 2026 était une mise en bouche de la Google I/O2 2026 qui s’ouvrira le 19 mai. Vous pouvez revoir la conférence d’une quarantaine de minutes en cliquant sur la vidéo ci-dessous.
Retrouvez tous les articles de Frandroid directement sur Google. Abonnez-vous à notre profil Google pour ne rien manquer !
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et .
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.