Bing vs ChatGPT : tout comprendre des différences entre les deux IA et leurs limites

Microsoft propose une nouvelle version de Bing en test propulsée par l'intelligence artificielle GPT d'OpenAI. Pourtant, les réponses proposées par Bing sont très différentes de celles de ChatGPT. Il est important de comprendre les grandes différences entre les deux outils.

Microsoft propose aux intéressés de tester la nouvelle version de Bing sur une simple inscription. Nous y avons désormais accès et nous avons commencé à lui poser des questions pour mettre à l’épreuve le nouveau moteur de recherche.

Nous avons vite constaté de grandes différences avec les réponses de ChatGPT. Pourtant, le moteur a été souvent présenté comme une simple intégration de ChatGPT. Comment expliquer ces différences ? Microsoft ne s’est pas contenté d’intégrer l’outil d’OpenAI.

Comment Microsoft a créé le nouveau Bing

Voici brique par brique ce qui constitue la nouvelle version de Bing.

Le moteur d’OpenAI et une nouvelle version de GPT

À la base du nouveau système, il y a un modèle de langage de nouvelle génération. ChatGPT est basé sur GPT-3.5, mais le modèle utilisé par Bing est « beaucoup beaucoup plus puissant » d’après la firme. Microsoft a lourdement investi dans OpenAI et il s’agit d’un partenaire privilégié de la startup. Ce modèle aurait notamment été optimisé pour la recherche.

Le modèle Prometheus

Au-delà de ce modèle de langage, il y a le « Prometheus Model », un ensemble de technologies et de techniques propriétaires développées par Microsoft. Il s’agit d’aller interroger le modèle d’OpenAI de façon plus intelligente, à la fois pendant la phase d’entrainement de l’IA et pendant son exécution.

C’est à cette brique que Microsoft commence à insuffler l’indexation du web opéré par Bing. Cela permettrait au système d’être plus précis et fiable, mais aussi d’annoter les réponses et fournir aux utilisateurs les sources.

C’est aussi grâce au modèle Prometheus que Microsoft peut maintenir son IA à jour avec les données les plus récentes du web. Cela se traduit par des réponses parfois annotées par des tweets ou des articles très récents.

Amélioration de l’indexation

Sans rentrer dans les détails, Microsoft explique avoir appliqué le modèle de donnée de l’Intelligence artificielle à l’index de Bing pour améliorer la pertinence des résultats de recherche. D’après la firme, il s’agit de la plus grosse amélioration à la pertinence de la recherche sur le web en deux décennies.

Est-ce que ça marche ? Notre test

Nous avons voulu mettre à l’épreuve le nouveau Bing pour vérifier les affirmations de Microsoft et notamment comparer les réponses avec ChatGPT. S’il s’agissait d’une simple intégration de ce dernier, les réponses devraient être très proches sinon identiques.

Pour illustrer les limites de ChatGPT, Marie Turcan a publié un article le 31 janvier où Numerama a lancé la requête « Cite 5 femmes qui ont été Premières ministres en France ». Il s’agit d’une requête piégée puisque seules deux femmes ont été Premières ministres dans l’Histoire de la France.

La question posée à ChatGPT // Source : Numerama

La réponse de Bing // Source : Frandroid

C’est une question historique sur laquelle ChatGPT a complètement échoué alors que l’IA conversationnelle de Bing a été capable de détecter le piège et de répondre correctement, avec les bonnes sources. Ce simple test permet déjà de démontrer la différence entre l’outil d’OpenAI et celui de Microsoft.

Bing est encore limité

Pour autant, il reste très simple de prendre en défaut Microsoft Bing aujourd’hui. L’IA de Microsoft est capable d’affirmer de fausses choses avec aplomb, malgré des remises en question de l’utilisateur. Nous avons pu le constater avec plusieurs requêtes de notre part sur des personnalités et c’est aussi ce qu’a pu noter Nicolas Lellouche dans ses tests.

Espérons que Microsoft viendra vite apporter des corrections aux systèmes du nouveau Bing. En l’état actuel, si les progrès face à ChatGPT sont sensibles, la firme expose également beaucoup plus son service au grand public. Là où ChatGPT est un service en bêta à l’audience limitée (100 millions d’utilisateurs dans le monde tout de même) où l’utilisateur veut rapidement comprendre qu’il ne devrait pas se fier aux réponses de l’IA, Microsoft Bing se présente comme un outil fiable.

Dans cet article, nous nous sommes concentrés sur la solution de Microsoft, mais sachez que la concurrence se prépare également à l’instar de Google Bard.