Gemini : notre guide pour tout comprendre l’IA de Google

Le 6 décembre 2023, Google annonce quelque peu par surprise Gemini, son LLM, ou Large Language Model, grand modèle de langage en français. Il s’agit d’un modèle d’intelligence artificielle qui permet d’alimenter des chatbots comme ChatGPT. Gemini, dans certaines versions, est dit « multimodal », ce qui signifie qu’il peut interpréter plusieurs types d’éléments : du texte, de l’image, de la vidéo, ainsi que de l’audio. Voici tout ce qu’il faut comprendre sur Gemini.

Pour aller plus loin
C’est quoi un LLM ? Comment fonctionnent les moteurs de ChatGPT, Gemini et autres ?

Gemini : c’est quoi ce nouveau LLM de Google ?

Gemini, c’est tout simplement le dernier LLM de Google. L’idée, c’est que LaMDA et PaLM-2 n’étaient pas assez performants et surtout exclusivement textuels. Ici, Gemini est multimodal, ce qui signifie qu’il peut gérer :

• du texte et du code
• des images et vidéos
• de l’audio

Ce qui lui permet de traiter des requêtes de plus en plus complexes. Dans les performances, cela lui permet d’être plus fiable que la plupart des LLM concurrents comme GPT-6.

Un modèle « multimodal », késako ?

Google qualifie son modèle de « multimodal » et c’est d’ailleurs la raison pour laquelle Google a abandonné ses autres modèles d’IA. Cela signifie qu’il peut interpréter de différentes manières son environnement et pas qu’à partir de texte : cela comprend le code informatique, l’audio, l’image ainsi que la vidéo.

De quoi étendre les possibilités d’usages et de performances. C’est d’ailleurs la grande différence avec GPT d’OpenAI, qui n’est pas réellement multimodal : c’est le grand défi de son développeur.

Que signifie Gemini ?

Google a baptisé Gemini d’après Generalized Multimodal Intelligence Network. Littéralement, cela signifie « Réseau d’intelligence multimodale généralisée ». En latin, gemini signifie « jumeaux » : c’est là d’où vient la constellation des Gémeaux. En informatique, le nom se rapporte également à un protocole de communication client-serveur. Il a été créé pour servir d’étape dans la construction du web. Un protocole qui lui-même faisait référence au Programme Gemini de la NASA (dont le vaisseau avait le même nom), étape intermédiaire entre le Programme Mercury et le fameux Programme Apollo. Gemini de Google serait-il lui aussi une étape vers quelque chose de plus grand ?

Comment s’y retrouver dans la nomenclature de Google : Bard est devenu Gemini

Au tout départ dans l’IA textuelle générative, il y avait Google Bard. Il s’agissait d’un chatbot de Google fonctionnant avec PaLM-2. Un outil présenté lors de la Google I/O 2023 et qui est resté expérimental toute sa vie avant de se transformer en Gemini. Depuis décembre dernier donc, Bard a disparu (application, site, mentions par Google) de la communication de l’entreprise au profit de Gemini. Même l’application Assistant with Bard a été tout simplement remplacée par Gemini. Un changement de nom peut-être lié aux bourdes de Bard durant sa présentation : elles avaient fait perdre 100 milliards de dollars à Google.

Par ailleurs, Google a investi beaucoup d’argent dans Anthropic, une start-up spécialisée dans l’intelligence artificielle, qui commercialise son propre chatbot, baptisé Claude AI.

Gemini remplace Google Assistant

Changement de technologie, changement de nom : c’est ce vers quoi Google tend avec Google Assistant. Son assistant vocal lancé en 2016 n’a jamais vraiment convaincu, et son développement s’est peu à peu estompé au fil du temps.

Ainsi, Gemini est désormais l’assistant principal de tous les smartphones Android que vous pouvez solliciter aussi bien à l’écrit qu’à l’oral. Pour le posséder, il faut au minimum disposer d’Android 10. De même, plusieurs rumeurs avancent la possible intégration de l’IA Google au sein des iPhone. Selon le Financial Times, un accord à hauteur de 5 milliards de dollars aurait été signé entre les deux parties.

Gemma : la version « ouverte » de Gemini

Google lançait Gemma, une famille de LLM basée sur ceux de Gemini. L’objectif : vendre ses solutions de Cloud pour faire face à Amazon et à Microsoft. Gemma peut être utilisée gratuitement et est « construit à l’aide des mêmes éléments techniques, de recherche et d’infrastructure que ceux utilisés pour créer les modèles Gemini ». Google argue même que « Gemma présente les meilleures performances de sa catégorie comparée aux autres modèles ouverts pour leur taille. »

Ainsi, il existe Gemma 2B et Gemma 7B (pour 2 et 7 milliards de paramètres). Il est même possible de faire fonctionner Gemma sur son ordinateur en local, par exemple via ChatRTX, un logiciel de Nvidia permettant d’utiliser des LLM.

Comment utiliser Gemini ?

Google oblige, Gemini s’immisce progressivement partout dans ses services. Voilà quelques portes d’accès au chatbot.

Via l’assistant Gemini sur votre smartphone

Anciennement Google Bard, l’agent conversationnel Google Gemini est disponible sur navigateur (gemini.google.com), mais aussi directement au sein de vos smartphones. Via le biais d’un raccourci Google, vous pouvez directement solliciter Gemini en parlant à haute voix ou bien en écrivant votre demande.

Actuellement, Gemini (avec son abonnement Advanced) utilise Gemini Pro 3. Sur notre test avec Ulrich, l’IA s’est révélée être particulièrement efficace dans l’assistance au quotidien, notamment sur des projets de « Vibe Coding ».

Pour aller plus loin
« Gemini gère la logistique » : comment Google veut automatiser votre vie sur Android

Gemini s’apprête aussi à anticiper vos demandes notamment avec l’outil « Create my Widget ». Sur Gboard, la fonction Rambler pour la dictée vocale qui se retrouve dopée par l’apport de Gemini. En clair, celle-ci filtre les tics de langages comme « euh » ou « et bien » pour ne garder que l’essentiel.

Sur Chrome

Dans Chrome, vous pouvez taper « @gemini » dans la barre d’adresse en haut de l’écran suivi de votre requête. Alors, c’est le site gemini.google.com qui se lance avec votre requête à laquelle il répond.

Dans votre voiture

Au sein des voitures compatibles à Android Auto, c’est Google Assistant qui s’occupait de la gestion de l’interface. Ce dernier laisse désormais sa place à Gemini dans plus de 250 millions de véhicules compatibles.

Dans Google Messages

L’assistant est même accessible depuis Google Messages : dans l’application SMS/MMS de Google, il y a chez certains utilisateurs une discussion avec Gemini. De quoi lui demander de rédiger un SMS important, générer des images à envoyer à ses amis, etc.

Mais on peut tout à fait utiliser cette version de Gemini (moins puissante que l’assistant sur navigateur) pour demander tout et n’importe quoi : une recette de cuisine, des sujets de conversation pour la soirée qui approche, etc. Pour le moment, l’intégration n’est pas prévue chez les utilisateurs de l’Union européenne.

Dans Google Workspace

Gemini veut devenir un véritable outil de productivité, un assistant de travail, un collègue ultime. C’est dans ce contexte que Google cherche à le déployer dans sa suite Workspace, la version par abonnement et pour les entreprises de Gmail, Drive, Docs, Sheets, etc. Par exemple, Gmail pourra lire, trier, rédiger et organiser vos mails si vous lui demandez.

Le chatbot pourra même être invoqué dans des conversations Google Chat, nourri du travail de toute une équipe sur un projet (documents, discussions, agendas, etc.). La fonctionnalité a un nom plus précis : AI Teammate et semble très prometteuse.

Gemini est aussi dans Gmail

Bien entendu, Google a aussi infusé son IA dans sa suite bureautique et Gmail n’y fait pas exception. Avec AI Overwiews, l’IA peut désormais trier vos mails, suggérer des réponses et introduit le concept de AI Inbox.

Gemini sur iPhone ?

Bien qu’aucune application Gemini ne soit disponible sur l’App Store, Google pourrait bien apporter son assistant sur l’iPhone. Selon les rumeurs, Apple négocierait avec Google pour pouvoir utiliser Gemini sur iOS. Le fabricant de smartphones voudrait intégrer de l’IA générative au plus vite sur ses prochains modèles. De quoi interroger un chatbot directement dans iOS, sans devoir passer par une application ou par un site web.

De quoi est capable Google Gemini ?

L’IA de Google est capable d’accomplir énormément de tâches, tant et si bien qu’il est impossible de toutes les lister. Pour en savoir plus, nous vous invitons à lire notre dossier sur les usages de ChatGPT, qui peut aussi s’appliquer à Gemini.

Les résumés de texte

Comme bien d’autres chatbots, Gemini est un très bon outil de résumé de contenus textuels. Mails, articles, fichiers Docs : au fur et à mesure de son intégration dans les services et appareils de Google, les possibilités de résumés de texte sont de plus en plus grandes.

L’entraînement sportif

Pour le moment, les conseils d’entraînement sportif sont expérimentaux et n’arriveront pas tout de suite. Quoi qu’il en soit, Google a déjà annoncé l’arrivée de Fitbit Labs, un ensemble de fonctionnalités basées sur Gemini, façon chatbot et coach virtuel. Fitbit Labs sera naturellement intégré dans l’application Fitbit, dédiée aux montres et bracelets connectés de la marque.

Le chatbot est capable de générer des graphiques mettant en relation plusieurs données (comme l’activité du jour et la qualité du sommeil de la nuit suivante). Ce « coach » peut aussi programmer des entraînements personnalisés en fonction des données de santé actuelles. Une fonctionnalité qui devrait être réservée aux utilisateurs abonnés à Fitbit Premium.

La création d’images et de vidéo

Gemini est aussi capable de créer des images grâce à Nano Banana Pro. L’IA peut désormais « raisonner » et utiliser sa base de données de mots pour générer un texte cohérent dans des créations. Ainsi, lors de notre test de Nano Banana Pro, nous avons pu lui demander des infographies précises et ce dernier c’est ensuite contenté de mettre du texte cohérent.

De son côté, VEO permet de créer des vidéos par le biais d’un prompt. Celui-ci s’appuie sur les modèles précédents de Google et est capable de créer des vidéos de plus d’une minute en 1080p.

Les extensions de Gemini

Sur la version navigateur du chatbot, il y a un système d’extensions, disponible en France. Cela permet de connecter le chatbot à d’autres services de Google : Google Flights, Google Hotels, Google Maps, YouTube ainsi que la suite Workspace (Docs, Sheets, etc.). L’idée est de pouvoir « invoquer » ces extensions lorsqu’on tape une requête, afin que Gemini aille chercher des informations au sein d’autres services Google. De quoi avoir un lien vers Flights, Maps ou encore YouTube. Pour les fonctionnalités liées à Google Workspace, il faut donner les droits d’accès à Gemini, afin qu’il puisse consulter vos mails et vos documents.

Ces extensions peuvent être désactivées à tout moment dans les paramètres de confidentialité de l’assistant. Pour le moment, aucune application tierce n’est disponible, mais on peut parier qu’à l’avenir, il y aura une boutique d’extensions, comme celle que propose ChatGPT. On sait d’ailleurs que YouTube Music va arriver très prochainement. Plus tard, ce sera au tour de Google Agenda, Google Tasks et Google Keep de devenir des extensions de Gemini.

Détecter les arnaques sur votre smartphone

Gemini peut détecter les conversations téléphoniques qu’il juge frauduleuses et qui ressemblent trop à des arnaques. Le LLM fonctionne dans ce cas-là directement sur votre smartphone, sans communiquer avec les services de Google.

Dans le cas où il détecte une étrange conversation, un message de prévention s’affichera.

Retrouvez n’importe laquelle de vos photos

Autre fonctionnalité propulsée par Gemini : Ask Photos, dans Google Photos. Elle offre la possibilité de chercher du contenu dans une photo de manière très précise. Que ce soit une plaque d’immatriculation ou un plat (avec la recette), Gemini devrait pouvoir tout retrouver.

En plus de ça, le chatbot peut choisir une sélection de photos que vous lui aurez demandée : par exemple, toutes les photos de votre enfant en train de nager.

Ce dont le chatbot est incapable

Une récente étude de l’ONG Democracy Reporting International indiquait que Gemini, comme les autres chatbots, était incapable de donner des informations précises à propos des élections européennes. Ils n’arrivent pas à expliquer le fonctionnement du scrutin et génèrent des informations à partir de peu de données.

Pour aller plus loin
Élections européennes : le rôle important de Google

Gemini, de son côté, formule surtout des non-réponses et incite le plus les utilisateurs à se renseigner ailleurs. Cet exemple est certes isolé, mais montre l’une des limites de Gemini. D’ailleurs, Google avait tranché en mars dernier : Gemini ne fournira plus d’informations sur les élections européennes. Mis à part cela, on sait que prochainement, Gemini pourrait se souvenir de ce que vous voulez bien lui raconter, comme le fait ChatGPT depuis un certain temps.

Quel abonnement Google AI choisir ?

Google propose aussi Gemini AI : il s’agit d’une version de l’abonnement Google One taillée pour les outils d’IA de la société. Il comprend tous les avantages du forfait Google One Premium, mais pas que. On profite avec celui-ci de 2 To d’espace de stockage sur le compte Google (au lieu de 15 Go pour un compte gratuit), mais aussi et surtout de l’intégration de Gemini dans les services Google, ainsi que la possibilité d’utiliser Gemini Advanced, à savoir la version la plus évoluée du LLM. L’abonnement commence à partir de 3,99 euros par mois et va pour les versions professionnelles à 139 euros par mois sur les trois premiers mois.

Sur son site, Google précise que « Gemini Advanced est bien plus efficace pour les tâches très complexes comme le codage, le raisonnement logique, le suivi d’instructions spécifiques et la collaboration créative. »

Pour aller plus loin
Gemini Advanced : c’est quoi cette version ultime du chatbot avec Gemini 1.5 Pro ?

Attention cependant : Gemini Advanced n’est disponible et optimisé qu’en anglais, même s’il peut répondre en français. Et pour Gemini dans Gmail, Docs ou Slides, c’est uniquement en anglais américain. L’abonnement permettra prochainement d’accéder à des fonctionnalités exclusives. Parmi elles, il y a Gemini Live, qui permet de discuter avec le chatbot comme on le ferait avec une personne réelle. A priori, il peut être interrompu et on peut lui demander de changer sa voix à la volée. On pourra aussi utiliser la caméra en direct pour interagir avec Gemini. Le chatbot servira aussi de Guide du routard qui planifie votre voyage selon vos goûts et vos désirs.

Google compte par ailleurs lancer les Gems, des Gemini personnalisés que l’on pourra créer soi-même, comme « un compagnon de gym, un sous-chef, un partenaire de programmation ou un guide d’écriture créative », précise l’entreprise.

Pourquoi Gemini est-il aussi limité en France ?

Plusieurs fonctionnalités de Gemini ne sont pas disponibles en France, et plus généralement dans l’Union européenne. C’est principalement la législation européenne qui refroidit Google à lancer ses outils d’IA sur le Vieux Continent. Il y a tout d’abord la protection des données : Gemini, pour progresser, doit utiliser les conversations qu’il a avec ses utilisateurs, ce qui peut poser un souci de protection des données des utilisateurs du chatbot.

Ensuite, le Digital Markets Act : si Google déploie Gemini à grande échelle, l’entreprise pourrait se voir contraindre de lui faire respecter certaines règles. Entre autres, Gemini ne pourrait plus avantager les autres services de Google (YouTube, Maps, Workspace, etc.). Pourtant, c’est là que réside toute la force de l’outil : pouvoir se connecter aux autres services de la firme.

Enfin, il y a l’AI Act : un texte sur lequel le Parlement est tombé d’accord en mars dernier, qui vise à encadrer les IA génératives notamment. Il devrait officiellement être ratifié d’ici juillet prochain. Un texte qui obligerait Google à révéler à la Commission européenne les secrets de Gemini (contenus utilisés pour l’entraînement, algorithme, etc.), à forcer le watermark des contenus générés par l’outil (faire en sorte que les textes et images puissent être identifiés comme artificiels).

---