L’intelligence artificielle moderne face à une console vieille de presque 50 ans : le match semblait joué d’avance. Pourtant, ChatGPT vient de subir une défaite face au programme d’échecs de l’Atari 2600, cette légendaire console commercialisée en 1977.
Une expérience menée par Robert JR. Caruso, développeur chez Citrix, qui montres les failles des grands modèles de langage.
Pendant 90 minutes, le développeur a organisé un duel entre l’IA d’OpenAI et la vénérable console.
À chaque tour, ChatGPT recevait une image de l’échiquier affiché sur l’Atari et devait planifier ses coups.
Le résultat ? Une série d’erreurs grossières qui ont conduit à une défaite sans appel contre un programme aux capacités pourtant limitées.
Quand l’IA confond les pièces et s’excuse de ses erreurs
Les observations de Caruso sont édifiantes. « J’ai dû l’empêcher de faire des coups terribles et corriger sa perception de l’échiquier plusieurs fois par tour », explique-t-il sur LinkedIn. ChatGPT confondait régulièrement les tours avec les fous, ratait des fourchettes de pions évidentes et perdait constamment la trace des pièces sur l’échiquier.
Le plus marrant dans tout ça ? L’IA s’excusait régulièrement de ses mauvaises décisions et cherchait des justifications à ses performances décevantes.
Elle accusait notamment l’interface « abstraite » de l’Atari 2600 de la perturber. Même après être passé à la notation standard des échecs, ChatGPT n’a pas réussi à améliorer sensiblement son jeu.
Pourquoi les LLM ne sont pas faits pour les échecs
Cette défaite s’explique par la nature même des modèles de langage. Contrairement à ce que pourrait laisser penser leur apparente sophistication, les LLM comme ChatGPT fonctionnent avec des probabilités statistiques pour assembler des mots en phrases cohérentes. Ils ne comprennent pas véritablement les règles des échecs et peinent à maintenir une représentation structurée de l’état du jeu.
À l’inverse, même un programme d’échecs basique comme celui de l’Atari 2600 applique les règles du jeu de manière rigide et calcule les coups possibles grâce aux coordonnées exactes de chaque pièce. Pas besoin de vision artificielle ou d’interprétation : juste de la logique pure et des calculs déterministes.
Cette limitation des LLM aux échecs n’est pas anecdotique. Le développeur Maxim Saplin a mené des tests similaires en confrontant différents modèles d’IA à un bot effectuant des coups purement aléatoires. Résultat : même les modèles les plus récents comme OpenAI o3 ou Grok 3 Mini n’atteignent qu’un taux de victoire maximal de 94 % contre un adversaire qui joue au hasard.
Pour aller plus loin
Comment installer un modèle LLM type ChatGPT sur PC ou Mac en local ? Voici le guide ultime pour tous
Pour ne rater aucun bon plan, rejoignez notre nouveau channel WhatsApp Frandroid Bons Plans, garanti sans spam !
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et ses partenaires.
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.
Gérer mes choix