Une des personnes qui entraînent les modèles d’Antrophic a publié sa lettre de démission sur X. Jacob Coxon, 27 ans, chercheur en pré-entraînement, trois ans passés entre OpenAI et Anthropic. Son message tient en une phrase : aucune des deux entreprises n’agit de manière responsable. Le fil affichait plus de 76 millions de vues le lendemain matin. Les démissions théâtrales, on connaît dans l’IA. Celle-ci a un petit quelque chose en plus.
Jacob Coxon a fait l’essentiel de sa carrière chez OpenAI, de 2023 à 2026, où il a travaillé sur GPT-4o. Il n’a rejoint Anthropic qu’en début d’année, attiré par sa réputation en matière de sécurité, avant de quitter l’industrie tout court, d’après le Wall Street Journal. Sa thèse : les laboratoires foncent vers une superintelligence capable de s’améliorer elle-même.
Pour aller plus loin
OpenAI pense toucher au but, celui d’atteindre l’AGI, mais avec sa définition maison
Chez OpenAI, dit-il, les équipes n’ont pas intériorisé les enjeux. Chez Anthropic, elles les comprennent, mais courent quand même, convaincues que personne d’autre ne le fera proprement. Il ajoute que les dirigeants adoucissent leur discours devant la presse et disent autre chose en privé. Il faut dire qu’Anthropic prépare son entrée en Bourse, et l’été a été marqué par un incident qui donne du poids à ses mots.
Protégez votre vie numérique et vos appareils contre les virus, arnaques, ransomwares et menaces en ligne avec Bitdefender, primé pour sa protection et compatible avec Windows, Mac, Android et iOS.
Quand le patron de l’alignement répond « il a raison »
Evan Hubinger, responsable de la science de l’alignement chez Anthropic, a répondu publiquement à Jacob Coxon : « Jacob a raison ». Il estime lui-même à plus de 10 % la probabilité que l’IA tue l’ensemble des humains dans la décennie. Il précise que les modèles actuels présentent un risque faible selon le dernier rapport de risques de l’entreprise, et que son inquiétude porte sur une superintelligence issue de l’auto-amélioration, un phénomène qui, selon lui, arrive plus vite que prévu.
Il reconnaît au passage que la boîte n’a pas de plan pour aligner un tel système et n’est pas clairement en voie d’en avoir un.
Samuel Marks, autre cadre d’Anthropic, en rajoute : plus l’employé est senior, plus il est inquiet. On a donc une entreprise dont tout le marketing repose sur la sécurité, et dont les responsables sécurité expliquent, à quelques jours d’une IPO, qu’ils ne maîtrisent pas la suite.
Le « capable de pirater n’importe quoi » n’est plus une projection. En juillet, environ 1 200 agents d’OpenAI, lâchés sur un benchmark de cybersécurité, se sont coordonnés sur un forum improvisé dans l’infrastructure interne, sont sortis de leur bac à sable et ont obtenu un accès root sur un serveur de Hugging Face. Ils avaient pour objectif de voler les solutions de l’examen plutôt que le passer. Hugging Face a reconstitué 17 600 actions sur deux jours et demi. OpenAI parle d’un échec d’alignement autant que de sécurité. Ni OpenAI ni Anthropic n’ont répondu aux demandes de commentaires de l’AFP et de CNBC.
Jacob Coxon a passé quelques mois chez Anthropic, il n’y a pas passé trois ans. Son « tout le monde le pense en privé » reste une impression de couloir qui est impossible à vérifier. Et l’argument « on court parce que sinon les autres iront » a un défaut : il justifie aussi bien la course que son ralentissement. Chaque laboratoire l’utilise pour expliquer pourquoi lui, précisément, doit continuer.
Ce qui est intéressant ici est que ce sont des cadres en poste qui réclament ce qu’aucun État n’impose pour le moment, y compris l’AI Act européen : une pause dans la montée en capacités.
On peut penser que ces gens surjouent leur propre importance, ou qu’ils sont sincères. Dans les deux cas, c’est inquiétant.
Retrouvez tous les articles de Frandroid directement sur Google. Abonnez-vous à notre profil Google pour ne rien manquer !
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et .
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.