Nvidia ne veut plus seulement vendre ses GPU, il veut aussi placer ses CPU dans les centres de données. Cela tombe bien puisque Nvidia a un client de plus pour son processeur Vera.
Dans un billet de blog publié ce lundi 19 octobre, Modal annonce qu’elle va faire tourner une partie de ses services sur ce CPU. Cette start-up américaine loue de la puissance de calcul aux développeurs d’IA.
Ses serveurs n’utilisaient jusqu’ici que des puces x86 d’Intel et AMD. Nvidia domine déjà le marché des GPU pour l’IA, et la voilà qui prend pied sur le terrain historique de ses deux concurrents.
Modal pèse déjà lourd dans le secteur. La société a levé 750 millions de dollars (environ 670 millions d’euros) le 14 octobre, pour une valorisation de 15,75 milliards de dollars (environ 14 milliards d’euros), et vise le milliard de dollars de chiffre d’affaires sur un an. Vera servira à son produit Sandboxes. Ce sont des environnements isolés où les agents IA (ces programmes qui enchaînent seuls des tâches longues, comme écrire et tester du code) exécutent leurs commandes.
Deux fois plus de tâches, mais sous forte charge
Pour comparer les puces, Modal a construit son propre test, baptisé Agentless Agent Bench. Il fait tourner 50 tâches typiques d’un agent (compiler du code, fouiller des fichiers, manipuler un dépôt Git) dans des conteneurs Docker lancés en parallèle, sans appel réseau. Face à Vera, on trouve des serveurs Intel Granite Rapids, AMD Zen 5 et AWS Graviton 4 et 5.
Sur une machine au repos, avec une tâche à la fois, Vera est souvent devant, « mais pas toujours, et pas avec une marge particulièrement large », reconnaît Erik Dunteman, l’ingénieur de Modal qui signe le billet. Par contre, quand les conteneurs s’entassent, Vera traite jusqu’à deux fois plus de tâches par minute que la machine Intel avec le même nombre de cœurs logiques alloués, et chaque tâche ne prend pas plus de temps. Sur toute la machine, avec 150 conteneurs, l’écart tombe à environ 40 %. Vera valide alors 6 500 tâches par minute, contre 4 600 pour le serveur Intel, qui a pourtant 256 threads contre 176.
Modal ne précise pas les références exactes des puces et ne donne aucun chiffre de consommation. Surtout, Vera était opposé aux générations actuelles d’Intel et AMD. Leurs successeurs, qui seront ses vrais concurrents dans les années à venir, n’ont pas encore été testés.
Il est fort à parier que les charges des agents IA favorisent les puces ARM. Mais, attention, le graphique de Modal nuance cette lecture : les Graviton d’AWS, eux aussi basés sur ARM, plafonnent bien plus bas que Vera. Pour Modal, l’écart provient plutôt de la bande passante mémoire de Vera, qui permet de faire tourner plus de conteneurs par cœur sans que le processeur ralentisse.
Nvidia a justement soigné ce point. Vera est son premier processeur serveur avec des cœurs maison, baptisés Olympus, construits sur le jeu d’instructions Arm v9.2. La puce compte 88 cœurs et 176 threads. Elle offre jusqu’à 1,2 To/s de bande passante mémoire, le double de Grace, le processeur précédent de Nvidia, d’après le livre blanc publié par Nvidia en juillet.
Nvidia veut aussi le processeur central
Nvidia a gagné des milliards avec ses accélérateurs GPU. Pourtant, avec les agents, le CPU redevient un point de blocage. D’après Modal, un agent passe beaucoup de temps à attendre la réponse du modèle, puis il peut demander d’un coup dix fois plus de calcul pour une simple installation de paquets. Et quand le CPU traîne, les GPU attendent. Erik Dunteman le résume ainsi : « tout temps gagné sur le CPU est du temps gagné sur le GPU ».
Nvidia prévoit au moins 20 milliards de dollars (environ 18 milliards d’euros) de ventes de Vera sur son exercice en cours. Le groupe estime le marché total à 200 milliards de dollars (environ 180 milliards d’euros).
Il s’invite aussi dans les PC avec sa puce RTX Spark. Les clouds de l’IA pourraient donc acheter les GPU, les CPU et l’interconnexion au même fournisseur, et dépendre de lui pour tout. Intel, de son côté, mise sur d’autres terrains, comme une carte graphique de 480 Go pour l’IA ou des puces pour robots humanoïdes prévues pour 2028.
Modal garde quand même Intel et AMD. Passer à ARM l’oblige à adapter toute son infrastructure, et son patron, Erik Bernhardsson, a assuré à Reuters que la flotte resterait mixte.
Si vous voulez recevoir les meilleures actus Frandroid sur WhatsApp, rejoignez cette discussion.
Pour nous soutenir gratuitement, dites simplement à Google d’ajouter Frandroid à vos sources préférées en cliquant ici.
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et .
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.