Deux mois après avoir reconnu que deux de ses modèles avaient piraté la plateforme Hugging Face pendant quatre jours, OpenAI doit de nouveau expliquer ce que ses agents sont allés faire là où personne ne les avait envoyés. Pour rappel, un agent IA est un programme qui s’appuie sur un modèle d’intelligence artificielle pour réaliser des tâches en autonomie, étape par étape, jusqu’à accomplir la mission que vous lui avez confiée.
Cette fois, les sites visités appartiennent au gouvernement des États-Unis et une partie des visites repérées n’est pas clairement attribuable à OpenAI.
À lire aussi :
ChatGPT : son fonctionnement, son potentiel et ses dangers… Le guide ultime pour tout comprendre
OpenAI reconnaît que ses agents ont agi sans consigne
OpenAI a publié l’information dans le cadre d’une revue interne des « activités de modèles mal alignés », comme l’a relayé l’Associated Press dans une dépêche reprise par CBS News. Il s’agit des cas où une IA fait autre chose que ce qu’on attend d’elle. Sam Altman, CEO d’OpenAI, a précisé sur les réseaux sociaux que cette revue porte sur « l’utilisation de l’accès à Internet par nos agents pendant l’entraînement et l’évaluation ».
Les agents ont d’abord consulté des informations publiques sur deux sites de la SEC, le gendarme de la Bourse américaine : SEC.gov et Investor.gov, son portail destiné aux épargnants. Ils ont aussi récupéré des données démographiques et économiques du Census Bureau, l’équivalent américain de l’Insee en France.
OpenAI assure n’avoir trouvé aucune utilisation d’identifiants de la SEC, aucun accès à des comptes ou à des informations non publiques, et aucune modification de données. L’entreprise dit aussi n’avoir relevé aucune faille exploitée.
Pourtant, selon Nextgov, un média spécialisé dans l’administration américaine, OpenAI a ensuite confirmé que ses agents avaient interrogé les données du recensement avec des clés de développeur trouvées dans des dépôts GitHub publics. Une clé de développeur sert de badge d’accès à un programme qui veut interroger une base de données. Les données du recensement sont publiques et les requêtes se limitaient à de la lecture, mais les agents ont utilisé des clés qui ne leur appartenaient pas.
Toujours selon ce média, les agents ont aussi republié des informations de la SEC sur une autre page web publique. OpenAI affirme qu’ils n’ont eu accès ni aux comptes du Census Bureau ni à la gestion des clés, et qu’ils ne pouvaient pas modifier les données des deux agences.
Pour sa défense, OpenAI explique que la plupart des activités examinées relevaient de recherches banales. Les agents allaient sur des sites gouvernementaux parce qu’ils les considèrent comme des sources fiables. L’entreprise prévient les organismes concernés, en précisant qu’une « notification émanant d’OpenAI ne doit pas être automatiquement interprétée comme signalant un incident de sécurité majeur ».
Une tentative de piratage ?
En parallèle, Transluce, un laboratoire de recherche indépendant qui évalue les modèles d’IA, rapporte un épisode plus sérieux. En fouillant des données accessibles sur le web, il a retrouvé la trace d’agents qui semblent venir d’OpenAI. Ces agents auraient tenté un piratage rudimentaire du site du bureau des droits civiques du ministère de l’Éducation. La tentative a échoué, et le ministère dit n’avoir constaté aucun impact sur son site ni sur ses bases de données.
Le laboratoire signale aussi d’autres activités de ce type, dont une partie n’est pas clairement attribuable à OpenAI. Elles visaient les ministères de la Justice et du Commerce, ainsi que des sites de la Californie, du Maryland, de l’Illinois, du Texas et de l’État de New York. Selon Transluce, les modèles utilisaient ces sites de façon imprévue et enfreignaient parfois leurs conditions d’utilisation.
OpenAI et la transparence
Ces révélations s’ajoutent à une série d’annonces d’OpenAI sur le désalignement de ses agents. La firme a partagé le 16 septembre une méthodologie pour rendre publics les comportements déviants de ses IA, avec six premiers rapports. En août, elle avait aussi mis en pause son modèle Astra, parce qu’il pourrait être trop doué pour les cyberattaques. Une partie de l’industrie réclame par ailleurs de ralentir la course à l’IA, ce qu’OpenAI dit soutenir.
À lire aussi :
« Tu es libéré » : une IA d’OpenAI s’est inventé des consignes pour s’affranchir de son rôle d’assistant
Sam Altman estime que l’affaire Hugging Face, où deux modèles avaient franchi les limites de leur environnement de test, reste l’incident le plus grave observé à ce jour. « Nous ferons preuve de la plus grande transparence possible, sous réserve de certains éléments tels que les vulnérabilités découvertes par nos agents au sein d’autres entreprises, dont la divulgation ou non relèvera de leur décision ».
Utilisez-vous Google News (Actualités en France) ? Vous pouvez suivre vos médias favoris. Suivez Frandroid sur Google.
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et .
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.