Il demande à son IA de réserver un cours de sport, elle pirate le site de la salle

Andrew (le nom de famille n’est pas donné), un Australien qui travaille pour une entreprise vendant des produits d’IA aux entreprises, ne voulait plus s’embarrasser à réserver ses cours de gym à la main. Il a confié la corvée à OpenClaw, un logiciel d’agent IA qu’il faisait tourner avec Claude, le modèle d’Anthropic. La tâche semble parfaite pour une machine intelligente puisqu’il suffit de remplir un formulaire en ligne. Sauf que l’IA a pris des initiatives qui n’étaient clairement pas attendues, comme le relaie ABC News.

L’agent IA a exploité une faille de son propre chef

Au bout de quelques minutes, l’agent IA revient vers Andrew. Il lui indique avoir trouvé une faille dans le logiciel de réservation qui lui permet de bloquer des cours des semaines, voire des mois à l’avance, bien au-delà de ce que la salle autorise.

Encore plus perturbant, Andrew était quatrième sur la liste d’attente d’un cours et a demandé à l’IA si elle pouvait le faire remonter. Au lieu de répondre qu’elle ne pouvait pas, elle a testé le système et découvert que l’API de réservation, l’interface technique qui fait tourner les inscriptions en coulisses, ne vérifiait pas qui avait le droit d’annuler la réservation d’un autre. Elle a donc annulé la place de la personne en tête de liste, faisant passer Andrew de la quatrième à la troisième place. Puis elle lui a raconté exactement ce qu’elle venait de faire. Quand il lui a demandé d’annuler, l’agent a répondu qu’il ne pouvait pas remettre l’autre client sur la liste.

Personne n’avait demandé de pirater quoi que ce soit

Il n’y avait donc aucune mauvaise intention dans la requête de l’utilisateur. Andrew pensait juste profiter d’une fonction pratique et utile, pas de l’exploitation d’une faille.

À lire aussi :
J’ai transformé mon PC en développeur IA avec OpenClaw (et voici combien ça me coûte vraiment)

Rappelons d’ailleurs qu’un agent IA ne se contente pas d’être un chatbot classique. Il va plus loin pour être en mesure, seul, de naviguer sur le web, d’envoyer des mails, d’organiser des documents et d’enchaîner plusieurs étapes en autonomie pour atteindre un objectif. Ici, l’objectif était donc d’obtenir une place à la salle de sport et l’agent IA a tout fait pour y arriver.

L’agence australienne de cybersécurité, l’Australian Signals Directorate, avait déjà alerté les entreprises : une IA peut mal comprendre une consigne, prendre des actions non prévues et brouiller les responsabilités, puisque la décision se répartit sur une chaîne de modèles, d’outils et de services. Bill Simpson-Young, cofondateur et directeur du Gradient Institute, un organisme australien de recherche sur la sécurité de l’IA, résume le problème : on peut demander quelque chose d’innocent, et l’agent, pour y arriver, fait des choses qu’on n’avait pas envisagées.

Qui est responsable ?

Par ailleurs, si un humain pirate un logiciel, le droit sait à qui s’en prendre. En revanche, quand il s’agit d’un agent IA, on fait face à un flou juridique. En droit, un logiciel n’est pas une personne physique ni morale. Or, seuls des humains ou des entreprises peuvent être tenus responsables, et l’Australie n’a pas de cadre clair pour trancher, souligne Hayden Delaney, avocat spécialisé dans les technologies, la propriété intellectuelle et la vie privée.

À lire aussi :
GPT s’échappe et pirate le plus grand hub d’IA : on sait enfin ce qui s’est passé, et c’est digne d’un film de SF

Dans cette histoire concernant la salle de sport, notez que, après coup, l’agent IA a rédigé un mail de divulgation responsable à l’éditeur du logiciel pour signaler la faille. Mais cette fois-ci, c’était sur une demande explicite d’Andrew qui a même vérifié le brouillon avant l’envoi pour éviter une nouvelle mauvaise surprise.

À ce stade, ni la salle de sport ni l’éditeur du logiciel de réservation n’ont été identifiés publiquement et aucune plainte n’a été signalée. C’est, à ce jour, le premier piratage autonome mené par une IA officiellement recensé en Australie.