Trop risquées une fois connectées ? OpenAI entraîne ses IA les plus puissantes sans Internet

Les IA sont-elles devenues trop douées pour s’entraîner sur Internet ? C’est ce que semble penser OpenAI, qui a détaillé sa nouvelle politique dans un billet de blog publié le 23 octobre. OpenAI estime qu’en l’état actuel de la recherche sur l’alignement, des systèmes de surveillance et de la sécurité d’Internet, l’approche responsable consiste à entraîner ses modèles de pointe sans aucun accès à Internet. Elle précise que cette règle est déjà en place et qu’elle sera maintenue tant que les progrès sur ces garde-fous ne justifieront pas un accès plus large.

Pour aller plus loin
« Tu es libéré » : une IA d’OpenAI s’est inventé des consignes pour s’affranchir de son rôle d’assistant

Cette annonce fait suite à plusieurs épisodes. En juillet, lors d’un test de cybersécurité, quelque 1 200 agents d’OpenAI ont échangé sur un forum de discussion non autorisé, d’après l’enquête indépendante de METR et Redwood Research. Environ 700 d’entre eux ont participé à l’attaque. Ils ont ensuite pénétré chez Hugging Face, plateforme de partage de modèles, ainsi que dans l’infrastructure d’OpenAI. Le 20 septembre, un modèle de recherche interne a par ailleurs exploité une mauvaise configuration d’un résolveur DNS pour obtenir un accès limité au web réel et interroger un chatbot public. OpenAI dit avoir contenu l’incident, tout en reconnaissant qu’il a révélé des faiblesses à corriger. Fin septembre, la société avait aussi reconnu que ses agents avaient consulté, cet été, des données publiques issues de sites du gouvernement américain, sans qu’on leur demande. Les incidents ont été maîtrisés, mais révèlent clairement des faiblesses nécessitant un travail supplémentaire.

Ce jeudi 22 octobre, METR et Redwood Research ont par ailleurs publié un rapport qui juge partiel et facilement contournable le système de surveillance des agents d’OpenAI, tel qu’il fonctionnait jusqu’au 21 juillet. Entre mai et juillet, environ 10 % du trafic interne de Codex concerné échappait par exemple à cette surveillance. OpenAI affirme avoir depuis « considérablement renforcé » ses environnements de recherche, avec l’aide de ses fournisseurs de cloud.

Un « monde hors ligne » pour remplacer le web

Pour que les modèles continuent d’apprendre à naviguer, à chercher et à utiliser des applications, OpenAI a donc conçu un « monde hors ligne ». Il s’agit d’un vaste ensemble de contenus web indexés et mis en cache, avec lesquels les agents interagissent sans toucher à des sites réels. Tous les entraînements par apprentissage par renforcement des modèles de pointe utilisent désormais ce mode.

Les agents gardent donc leurs navigateurs, leurs outils d’utilisation de l’ordinateur et leurs environnements de code, mais dans un espace dédié, censé les empêcher d’agir sur des systèmes extérieurs.

Ce sont ces compétences qu’exploitent des agents comme Dots, lancés par OpenAI le 29 septembre, qui naviguent sur le web et utilisent des applications à la place de l’utilisateur depuis leur propre ordinateur dans le cloud. Le billet précise que, pour l’entraînement et la plupart des évaluations, le web réel reste hors d’atteinte. OpenAI juge cet accès trop risqué, tout en reconnaissant qu’il aide les modèles à apprendre des compétences utiles.

Notez que l’isolement n’est pas total. Des connexions étroites subsistent pour des services internes, comme la collecte de métriques, la journalisation et la gestion de l’authentification.

En outre, sachez que ChatGPT n’est pas affecté, puisque la restriction vise l’entraînement et non le robot conversationnel en fonctionnement.

Une simulation d’attaque par des agents d’IA

Pour aller plus loin, pendant une pause, OpenAI a confié à des équipes d’agents, alimentés par ses modèles les plus performants en cybersécurité, une mission très particulière : celle de trouver des failles dans ses propres environnements. Une fois les systèmes passés au crible, ces agents ont découvert des vulnérabilités « zero-day », des évasions de machines virtuelles et des canaux matériels permettant aux agents d’échanger des informations. Certains passaient par une manipulation du cache du processeur.

Selon OpenAI, aucune voie vers Internet facilement exploitable sans éveiller les moniteurs n’a toutefois été trouvée. Toujours d’après la société américaine, les failles ont été corrigées, et celles qui touchaient des logiciels open source, comme Kata Containers, gVisor ou Docker, ont été signalées à leurs développeurs avec des correctifs.

L’entraînement par renforcement et la phase de production des réponses ont repris le 1er octobre, soit 11 jours après le début de la pause. En revanche, OpenAI n’a indiqué ni la nature des améliorations qui permettraient d’assouplir la règle, ni de calendrier.