Google veut transformer son moteur de recherche en une machine à réponses définitives. Il faut absolument rester chez Google. C’est l’ambition des AI Overviews, ces blocs de texte générés par Gemini qui trônent en haut des résultats. Mais une étude récente menée par le New York Times et la start-up Oumi vient doucher les espoirs de Mountain View.
En utilisant le benchmark SimpleQA, un test composé de 4 000 questions vérifiables, les chercheurs ont découvert que l’IA de Google se trompe dans environ 10 % des cas. Pour un outil utilisé par des milliards de personnes, ce n’est pas un détail technique, c’est un problème.
Pourtant, Google progresse. Les versions précédentes de Gemini stagnaient à 85 % de bonnes réponses, contre 91 % aujourd’hui.
9 % de « mensonges » automatisés, cela reste énorme. À l’échelle du trafic mondial de Google, cela représente des millions de fausses informations injectées chaque heure dans le cerveau des utilisateurs.
L’art de l’hallucination
Le problème, ce n’est pas seulement que l’IA se trompe, c’est la manière dont elle le fait. Elle a l’air sûre d’elle. Lors des tests, elle a été incapable de donner la bonne date pour la transformation de la maison de Bob Marley en musée. Elle a pioché dans plusieurs sources, mais a fini par choisir la mauvaise info.
Plus grave encore : l’IA invente des faits de toutes pièces. Elle a par exemple affirmé que le « Temple de la renommée de la musique classique » n’existait pas, tout en parlant correctement du violoncelliste Yo-Yo Ma. C’est ce qu’on appelle une hallucination. L’IA ne comprend rien, elle prédit statistiquement le mot suivant.
Google se défend en expliquant que le test SimpleQA utilise des questions « irréalistes ». La firme assure que ses propres évaluations internes sont réussies.
Pourtant, une étude internationale massive coordonnée par l’UER (EBU) et la BBC, impliquant 22 médias publics dont Radio France, a aussi rendu son verdict : les assistants IA déforment l’info 45 % du temps. Et dans ce classement de la honte, Gemini est le cancre absolu avec des problèmes signalés dans 76 % de ses réponses.
C’est deux fois pire que la concurrence. On ne parle plus de petites erreurs de dates, mais d’une déformation « systémique » qui touche toutes les langues et tous les territoires. Pour l’UER, c’est simple : ces outils mettent en danger la confiance démocratique, surtout quand on sait que 15 % des moins de 25 ans les utilisent déjà comme porte d’entrée exclusive vers l’info.
Pour aller plus loin
Google teste le « Mode AI » en France alors que les résumés sont toujours absents
Si vous essayez de trouver ces résumés IA sur votre smartphone à Paris ou Lyon, vous ne verrez rien. AI Overviews n’est toujours pas disponible en France. Google déploie sa fonctionnalité au compte-gouttes, en privilégiant les pays anglophones et certains marchés spécifiques, tout en évitant soigneusement les zones aux réglementations strictes comme l’UE.
Chaque matin, WhatsApp s’anime avec les dernières nouvelles tech. Rejoignez notre canal Frandroid pour ne rien manquer !
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et .
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.