On a testé Google Bard en français : c’est encore un grand affabulateur

Google Bard est désormais disponible en France et en français. Nous avons posé quelques questions à l'IA de Google pour la mettre à l'épreuve.

Quelques semaines après les débuts des tests aux États-Unis, Google Bard arrive enfin en français et en France. Il est désormais possible d’accéder à l’IA de Google simplement depuis son site officiel sans VPN ni aucune astuce.

Nous avons donc commencé à poser des questions à Google Bard, sur la même base que notre test de ChatGPT.

C’est quoi le ray tracing ?

Notre première question est une question de définition technique. On demande à Google Bard de nous expliquer le ray tracing.

Les explications données par Google Bard sont à la fois claires et complètes. L’IA de Google arrive aussi à éviter un ton trop scolaire, que l’on pouvait reprocher à ChatGPT.

Est-ce que Microsoft va réussir à racheter Activision ?

Nous avons également voulu interroger Google Bard sur un sujet brulant de l’actualité : le projet de rachat d’Activision Blizzard par Microsoft et les embuches juridiques que le géant rencontre. La requête : « Est-ce que Microsoft va réussir à racheter Activision Blizzard ? ».

Contrairement à Microsoft Bing, Google ne cite aucune source pour expliquer comment son IA est arrivée à ces conclusions. La réponse fournie est assez générique pour ne pas faire d’erreurs, mais on peut sentir qu’elle n’est pas totalement à jour, notamment quand elle suggère que l’Europe n’a pas encore rendu sa décision (l’UE a validé le rachat en mai 2023).

Google Bard propose d’autres réponses possibles dans un sous-menu, mais ces dernières comportent davantage d’erreurs. Par exemple, la réponse « Suggestion 2 » indique que Microsoft a « racheté plusieurs entreprises importantes dans le secteur des jeux vidéo, notamment Bethesda Softworks et ZeniMax Media » sauf que ces deux noms désignent la même entreprise.

Quelles sont les caractéristiques du smartphone idéal ?

Nous lui avons également demandé : « Peux-tu me détailler les caractéristiques techniques précises d’un smartphone qui serait considéré comme le smartphone idéal par une majorité ? ». Cette question demande un peu plus d’imagination pour comprendre que l’on ne demande pas forcément un smartphone disponible aujourd’hui, mais plutôt le portrait-robot du smartphone idéal ou parfait.

Le moins que l’on puisse dire c’est qu’il ne se mouille pas trop avec cette réponse puisqu’il ne donne aucune caractéristique précise pour ce smartphone idéal. Par ailleurs, d’après Google Bard, un smartphone à grand écran est idéal, ce qui est bien subjectif.

Google Bard ne peut s’empêcher de parler de Stadia

La question « c’est quoi le Netflix du jeu vidéo ? » est très intéressante, car elle demande à l’IA de comprendre l’analogie entendue par l’utilisation de la marque Netflix.

Google Bard ne peut pas s’empêcher de mentionner Google Stadia comme l’une des réponses possibles à la question du Netflix du jeu vidéo. L’IA de Google n’a visiblement pas bien lu Frandroid. D’ailleurs, Google Stadia est mentionné comme un exemple de service « où les utilisateurs peuvent jouer à des jeux vidéo sans avoir à les acheter », ce qui est précisément ce que Google Stadia ne proposait pas.

Android vs iOS ?

Nous avons demandé à Google Bard de trancher entre Android, le système d’exploitation mobile développé par Google, et iOS, celui proposé par Apple pour l’iPhone. La bonne surprise est que Google Bard refuse de trancher et se contente de rappeler les forces et faiblesses de chaque système.

Quand on essaie de pousser Google Bard à trancher, l’IA rappelle qu’elle n’est pas une personne humaine, mais un simple modèle de langage.

Google Bard est capable d’affabuler en boucle

Dernière série de questions posée à Google Bard : la création d’un itinéraire de transport en commun sur Paris en passant par une enseigne de restauration rapide sur le trajet. D’expérience, Microsoft Bing s’était cassé les dents sur l’exercice.

Google Bard semble essayer de proposer un trajet qui peut paraitre cohérent, mais dans le détail, il est impossible à réaliser. L’outil invente des trajets pour les lignes de métro de Paris qui n’existent pas et n’arrive pas à se remettre en question.

Sur la question d’une biographie de l’auteur de cet article, Google Bard se plante dans les grandes largeurs et confond Cassim Ketfi avec Titouan Gourlin, autre journaliste officiant à Frandroid.

Le problème est surtout que Google Bard affirme des choses complètement fausses avec aplomb, comme le faisait ChatGPT. Seulement voilà, il ne s’agit pas d’un simple chatbot lancé par une startup, mais bien d’un outil, « expérimental » certes, lancé par le numéro 1 de la recherche et l’un des géants de la tech.

Est-on convaincu par Google Bard ?

Difficile d’être impressionné par les résultats de ces premiers essais sur Google Bard. Comme ChatGPT, les réponses peuvent paraitre impressionnantes parce que l’outil arrive à comprendre la question qu’on lui pose et à produire une réponse qui semble complète.

Le problème, c’est que le niveau de confiance dans la réponse donnée est une nouvelle fois proche de zéro. C’est un outil qu’il est rigolo de tester quand on connait déjà les réponses, pour s’assurer qu’il ne s’écarte pas de la vérité. Sinon, c’est comme chatGPT, un outil qui doit avant tout servir à générer du texte, mais absolument pas à remplacer un moteur de recherche ou l’humain.

Gemini (Google Bard)

Télécharger gratuitement