Quatre IA de Google ont fini Minecraft en 27 heures sans intervention humaine

Selon HowLongToBeat, les joueurs humains mettent en moyenne 45 heures pour finir l’histoire principale de Minecraft. Quatre agents IA de Google l’ont fait en 27 heures et 14 minutes, sans qu’un humain intervienne une seule fois.

Trois chercheurs de Google DeepMind, Maxence Faldor, Satinder Singh et Roberta Raileanu, racontent la partie dans une étude mise en ligne le 15 octobre sur arXiv.

Chaque agent tourne avec Gemini 4 Argon, le modèle de Google annoncé le 30 septembre et conçu pour les longues tâches de programmation. Leur consigne tenait en un paragraphe : vaincre l’Ender Dragon, le boss final du jeu, en partant de zéro dans un monde généré aléatoirement. Personne ne leur a attribué de rôle. Pourtant, au bout de dix minutes, ils s’étaient déjà réparti le travail dans le chat du jeu. Gyldenia s’est occupé de la nourriture, Bulicame a cherché les diamants, Janesick a fabriqué les outils et Auratian a construit le portail du Nether.

Des IA qui jouent sans indications, ou presque

Les agents ne voient pas l’écran et ne touchent à aucun clavier. Ils dirigent leur personnage avec Mineflayer, une bibliothèque JavaScript open source qui permet de contrôler un joueur par programme. L’IA écrit un petit script du genre « va à ces coordonnées et mine tout le fer dans un rayon de 16 blocs », le lance, puis lit le résultat sous forme de texte. Sur l’ensemble de la partie, les quatre agents ont écrit 2 783 programmes et échangé 229 messages.

En 2023, Nvidia avait montré un bot Minecraft qui apprenait à jouer seul grâce à GPT-4, mais il s’appuyait sur une bibliothèque de compétences pensée par des humains. Cette fois, Google n’a fourni aux agents aucun outil propre au jeu.

Le moment le plus malin de la partie, c’est la recherche du Stronghold, la forteresse souterraine qui cache le portail vers l’End. Janesick a lancé deux yeux de l’Ender depuis deux endroits différents. Il a enregistré leur trajectoire toutes les 50 millisecondes, puis il a calculé le point où les deux lignes se croisaient. Son estimation est tombée à 43 mètres de la vraie salle du portail, qui se trouvait à 1,3 kilomètre du village.

Le dragon, lui, a tenu presque 14 heures et a tué les agents 69 fois. Il a fallu attendre la 21e heure pour qu’Auratian comprenne que les dix cristaux en haut des piliers d’obsidienne soignaient le boss sans arrêt. Un point que n’importe quel habitué de Minecraft connaît. L’équipe a détruit les cristaux en grimpant sur des colonnes de terre, et le dragon est mort 39 minutes après la chute du dernier.

Une victoire en mode Facile

En tout, les quatre IA sont mortes 605 fois. Parmi ces morts, 351 viennent des monstres et 67 de noyades. Surtout, la partie s’est jouée en difficulté Facile, où les monstres font moins de dégâts et où la faim ne tue pas. En plus, Mineflayer donne aux IA des informations qu’un humain n’a pas, comme les blocs cachés derrière la roche ou l’état de santé du dragon.

Pour aller plus loin
Gemini 4 Argon : à qui va vraiment servir l’IA ultra puissante de Google ?

L’étude cite d’autres essais. En septembre, un projet amateur a déjà battu le dragon avec un seul agent Claude Opus 5, en difficulté Normale, mais avec 37 outils taillés pour Minecraft. Le site Minecraft-France rappelle de son côté que GPT-6 Astra, qui jouait avec un clavier et une souris comme un humain, a passé 141 heures sur le jeu sans jamais venir à bout du dragon.

Concernant la facture, elle reste modeste. Jusqu’à la victoire, les quatre IA ont consommé environ 1,35 milliard de tokens en entrée. Au tarif de lancement de Gemini 4 Argon, cela représente environ 520 dollars (environ 460 € HT), et le double au tarif normal. Il faut y ajouter un cinquième agent, chargé de repérer la triche, qui n’a rien signalé. Avec lui, la session complète a coûté 810 dollars (environ 720 € HT).