Anthropic dévoile Claude Mythos, une IA jugée trop dangereuse pour nous

Coup marketing ou véritable risque existentiel ? En lisant l’article de blog qui annonce la sortie de Claude Mythos Preview, le doute est permis. Issu des laboratoires d’Anthropic, grand ennemi d’OpenAI, le nouveau grand modèle de langage développé par l’entreprise serait supposément assez puissant pour « surpasser tous les humains, à l’exception des plus compétents, dans la détection et l’exploitation des failles logicielles ».

Le logiciel serait d’ailleurs si dangereux que seule une poignée de partenaires de l’entreprise aurait le droit de mettre la main dessus et qu’aucune sortie publique ne serait envisagée. Mythos aurait même identifié des vulnérabilités critiques dans « tous les systèmes d’exploitation et navigateurs Internet ».

Anthropic, véritable « doomer » de l’IA

Les risques posés par les grands modèles de langage en termes de cybersécurité ne sont pas exactement nouveaux. Début mars, la fondation Mozilla déclarait déjà que Claude avait identifié 14 failles critiques au sein de Firefox, un logiciel pourtant « largement déployé et faisant l’objet d’un examen minutieux ». Comme le relève Le Monde, un expert dans le domaine travaillant pour Anthropic alertait il y a peu que les LLM « sont la chose la plus grave arrivant à la sécurité depuis l’arrivée d’Internet ».

Mais ce genre de discours est relativement habituel de la part d’Anthropic, même si les précautions prises autour du lancement de Claude Mythos font beaucoup parler d’elles. Le patron de l’entreprise, Dario Amodei, a précisément quitté OpenAI en raison de différends fondamentaux sur la manière de construire une IA « responsable ». Depuis 2016, le responsable n’a de cesse de prévenir sur l’avenir potentiellement cataclysmique que pourrait faire advenir le développement d’une IA trop puissante. Son positionnement lui a valu d’être classé parmi les « doomers » les plus connus du secteur.

Il faut dire que le discours autour des risques de l’IA est porteur d’un pur point de vue économique. En vendant à la fois le poison et l’antidote, Anthropic crée la panique nécessaire au développement de son business.

Des risques assumés ?

Les risques de Claude Mythos ne sont probablement pas à négliger cependant. Mais le positionnement d’Anthropic face à ces problèmes a de quoi laisser perplexe. En février dernier, l’entreprise affaiblissait ses garde-fous autour du développement de l’IA sous prétexte que la concurrence ne s’embarrassait pas avec ces problématiques. La question est donc légitime : pourquoi développer une telle arme si tout le monde est convaincu des risques qu’elle pose ?

Pour aller plus loin
Les navigateurs IA ne seront jamais sûrs : l’aveu terrible d’OpenAI

Surtout que ce n’est pas la première fois que l’industrie de l’IA crée un problème qu’elle a elle-même vu venir. En 2019, OpenAI, où travaillait alors Dario Amodei, avait déjà mis en pause le déploiement de ChatGPT-2 par crainte qu’il ne permette de créer « des informations trompeuses » ou d’automatiser les arnaques. On ne peut pas dire que cette prudence ait étouffé les grandes entreprises depuis.

Claude AI

Télécharger Claude AI gratuitement