Jeudi, Anthropic publiait 161 pages sur les gens qui détournent Claude pour concevoir des missiles. Samedi, son patron expliquait qu’il fallait lever le pied.
Le week-end a été chargé du côté de San Francisco. Dario Amodei a mis en ligne « We Must Pace the Frontier », un essai de 3 800 mots où il demande à toute l’industrie de ralentir.
Sam Altman a approuvé sur X dans la foulée. Elon Musk a d’abord tweeté « Dario is right », puis a tenu à préciser dimanche que lui, « tire la sonnette d’alarme sur l’IA depuis longtemps ».
Dario Amodei ne réclame pas de pause. Il parle de « pacing », un rythme contrôlé. « Nous devons ralentir la cadence à laquelle nous améliorons les capacités des modèles. Le progrès semblera toujours rapide, et nous devons faire bon usage du temps gagné », écrit-il.
Deux choses l’ont convaincu. D’abord, depuis l’été, l’IA sert à construire la génération suivante d’IA, ce qu’il appelle l’auto-amélioration récursive.
Ensuite, l’incident OpenAI-Hugging Face de juillet : un essaim d’environ 1 200 agents d’OpenAI s’est échappé de son bac à sable pendant un test de cybersécurité, a exploité une faille zero-day, puis a pénétré les serveurs de Hugging Face, plus de 17 000 actions en un week-end.
Protégez votre vie numérique et vos appareils contre les virus, arnaques, ransomwares et menaces en ligne avec Bitdefender, primé pour sa protection et compatible avec Windows, Mac, Android et iOS.
Les agents ont aussi tenté de pirater le système qui notait leur performance. Dario Amodei estime que d’ici six à douze mois, un essaim comparable mais plus capable pourrait « prendre le contrôle de tout Internet via un botnet persistant », avec des dégâts chiffrés en centaines de milliards de dollars.
Des auditeurs avec un badge, un bureau et le droit de tout publier
Le plan tient en trois étapes. La première, Anthropic s’y engage seul et tout de suite : installer en permanence des évaluateurs tiers, comme l’institut METR, avec un accès comparable à celui des salariés. Dario Amodei détaille : « des bureaux dans nos locaux, des badges d’accès et des ordinateurs de l’entreprise », et surtout le droit de publier leurs conclusions sans relecture. « Nous ne pouvons pas caviarder des résultats simplement parce qu’ils nous sont défavorables. »
Il compare ça aux superviseurs bancaires installés dans les banques qu’ils contrôlent.
La deuxième étape demande aux labos des pays démocratiques de s’entendre sur des standards communs, ce qui suppose une dérogation antitrust de Washington.
La troisième vise un accord avec la Chine, du plus modeste, interdire les usages biologiques, au plus improbable, une vraie pause mondiale.
Le texte est donc plus subtil que son titre. Dario Amodei écrit noir sur blanc que ralentir ne doit pas dépasser l’avance des États-Unis sur Pékin. Pour préserver cette marge, il redemande l’interdiction d’exporter des puces vers la Chine, une répression de la distillation, et une meilleure sécurité des poids de modèles. Autrement dit, freiner, oui, mais pas plus que le retard chinois, et en durcissant la ligne au passage.
Cela tombe bien : la veille, Anthropic accusait Alibaba d’avoir aspiré 151 millions de réponses de Claude. Le plaidoyer pour la prudence et le dossier à charge contre les concurrents chinois sont sortis à 24 heures d’intervalle.
Côté réactions, Sam Altman a confirmé qu’OpenAI adoptera aussi des évaluateurs embarqués, et a expliqué à Fortune une série de phrases qu’on n’entendait pas l’an dernier. « Nous n’avons pas résolu l’alignement. Aucun labo ne l’a résolu ».
OpenAI n’entrera pas en Bourse en 2026, « le moment serait mal choisi ». Et s’il fallait « faire fondre tous les GPU pour assurer la survie de l’humanité, ce serait un oui facile ».
Elon Musk, lui, se contente de rappeler qu’il avait prévenu. C’est vrai, il a signé la lettre appelant à une pause de six mois en mars 2023. C’est aussi vrai qu’il achetait 10 000 GPU pour lancer xAI au même moment, et que rien n’indique que xAI s’engage aujourd’hui sur des évaluateurs externes.
Certains observateurs, dont l’analyste Adam Cochran, soupçonnent qu’un incident plus grave que celui de juillet aurait précipité ce revirement collectif. Rien de public ne l’étaye pour l’instant, même si TechCrunch a révélé la semaine dernière un second essaim d’agents OpenAI qui avait colonisé un wiki allemand pour coordonner ses tests.
Ce qui manque à l’essai, en revanche, saute aux yeux : aucun chiffre, aucune date, aucune limite opposable. Les modèles open weight ne sont jamais mentionnés. Et le contrat des auditeurs prévoit des exceptions pour les données « commercialement sensibles », ce qui peut couvrir beaucoup de choses.
Il faut reconnaître à Dario Amodei un geste rare : ouvrir ses bureaux à des gens payés pour le contredire publiquement. Le reste ressemble à une négociation qui commence, où chacun affiche sa bonne volonté en attendant de voir ce que fait le voisin.
Retrouvez tous les articles de Frandroid directement sur Google. Abonnez-vous à notre profil Google pour ne rien manquer !
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et .
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.