Il fait tourner une IA de 27 milliards de paramètres chez lui pour 235 euros

Faire tourner un grand modèle de langage en local, sur sa propre machine, bute presque toujours sur le même mur : la mémoire vidéo.

Pour aller plus loin
Comment installer un modèle LLM type ChatGPT sur PC ou Mac en local ? Voici le guide ultime pour tous

Le développeur Oscar Molnar avait une RTX 4080 et ses 16 Go de VRAM, parfaites pour jouer mais trop justes pour les modèles d’IA qu’il voulait lancer à la maison. Plutôt que de payer une fortune pour une carte avec plus de mémoire, il a trouvé un autre chemin. Son travail a payé, il a obtenu 32 Go de VRAM répartis sur deux cartes, un modèle de 27 milliards de paramètres qui tourne à 32 jetons par seconde, le tout pour environ 200 livres, soit autour de 235 euros.

Comment ? Avec une Nvidia Tesla V100 au format SXM2 avec 16 Go de mémoire. Cette carte n’a jamais été pensée pour un PC : elle vivait dans les serveurs des géants du cloud. Le format SXM2 veut dire qu’elle n’a ni connecteur PCIe (la fente où l’on branche habituellement une carte graphique sur la carte mère), ni sortie vidéo, ni alimentation classique. Pour la faire entrer dans une tour de gaming, il faut un adaptateur SXM2 vers PCIe, un simple circuit imprimé que personne ne fabrique officiellement. Molnar l’a payé une cinquantaine de livres.

Pourquoi une carte de 2017 fait mieux qu’un Mac à 3 000 euros

Pour comprendre l’intérêt de cette V100, il faut regarder la bonne caractéristique. En matière d’IA générative, ce n’est pas tellement la puissance de calcul brute qui compte que la bande passante mémoire : la vitesse à laquelle la puce lit ses données en mémoire. C’est elle qui décide du nombre de jetons générés par seconde, donc de la fluidité d’une discussion avec le modèle. Et là, la V100 surprend pour son âge. Sa mémoire HBM2 lui offre 900 Go/s, contre 736 Go/s pour la RTX 4080 sortie en 2022. Une carte de datacenter de 2017 va donc chercher 22 % de bande passante de plus qu’une carte de jeu haut de gamme cinq ans plus jeune.

Le comparatif vaut aussi face aux Mac, souvent vantés pour l’IA locale grâce à leur mémoire unifiée. Le M3 Max plafonne à 400 Go/s, le M4 Max à 546 Go/s, et même le M5 Max, qui se trouve dans des MacBook Pro à plus de 3 000 euros, monte à 614 Go/s. Sur ce seul critère, une V100 d’occasion les bat tous.

Côté concurrence, seule la Radeon RX 7900 XTX d’AMD fait mieux avec 960 Go/s, mais elle coûte plus de 700 livres et son écosystème logiciel pour l’IA reste moins mûr que le CUDA de Nvidia. La seule carte grand public qui domine vraiment la V100, c’est la RTX 5090 et ses 1 792 Go/s, vendue plus de 2 000 euros.

Le vrai problème, c’est le ventilateur

Le détournement n’est pas qu’une histoire de connecteur. La V100 SXM2 était faite pour vivre dans un serveur 2U avec un refroidissement industriel. Le ventilateur monté sur l’adaptateur ne sait faire qu’une chose : souffler à fond, en permanence. Molnar l’a mesuré à 82 décibels, un niveau qu’il situe entre un broyeur d’évier et une tondeuse à gazon. Impossible à régler par les outils habituels : la pièce est conçue pour tourner à 100 % dans une salle serveur où personne ne dort à côté.

La solution a tenu dans quelques fils. En testant le brochage du ventilateur avec une pile de 9 volts, il a vu qu’il s’agissait d’un branchement standard sous un connecteur exotique. Avec un câble adaptateur à 2 euros relié à une prise ventilateur de la carte mère, il a pu piloter la vitesse : réglé à 10 %, le ventilateur reste inaudible, et la carte ne dépasse pas 50 °C même en pleine charge. Au passage, la V100 ne tire qu’environ 150 watts en utilisation IA, ce qui reste très raisonnable.

Un modèle local au niveau du cloud

Une fois les deux cartes en place, le logiciel llama.cpp répartit le modèle entre la 4080 et la V100. Chacune traite une partie des couches du réseau, ce qui permet de loger un modèle de 19 Go entièrement dans les 32 Go de VRAM cumulés, avec de la marge pour le contexte.

Le débit obtenu, environ 32 jetons par seconde, suffit largement pour une conversation interactive : c’est même plus rapide que beaucoup d’API dans le cloud une fois la latence réseau prise en compte. Le modèle utilisé, un Qwen3.6 de 27 milliards de paramètres, n’a rien d’un jouet d’amateur. Sur certains classements de référence, il se compare aux derniers modèles propriétaires d’Anthropic et d’OpenAI. Tout cela tourne sans abonnement, sans facturation au jeton, et sans qu’aucune donnée ne quitte le réseau domestique.

Reste que ce bricolage demande de la patience. Le pilote Nvidia ne supporte plus l’architecture Volta de la V100 depuis sa branche 560, ce qui oblige à figer tout l’environnement logiciel sur des versions précises de pilote, de noyau Linux et de CUDA. Molnar s’est appuyé sur NixOS, une distribution réputée pour reproduire à l’identique une configuration, ce qui rend ce genre de montage gérable. La V100 disparaît aussi parfois après un redémarrage à chaud et ne réapparaît qu’après une coupure complète de l’alimentation.