NPU AMD : la puce IA des PC Ryzen sert enfin à quelque chose

IA locale

 
Vendu comme l’argument IA des PC portables AMD depuis 2024, le NPU des Ryzen AI peut enfin faire tourner de vrais modèles de langage dans une appli grand public. La promesse d’autonomie, elle, reste à mesurer.

Sur les PC portables Ryzen AI, une puce entière est dédiée à l’intelligence artificielle, et elle passe surtout son temps à flouter l’arrière-plan des visios. Ça reste jusqu’à maintenant assez léger, alors que la plupart des fabricants en font un vrai argument marketing.

Ce NPU (Neural Processing Unit, un processeur spécialisé dans les calculs de l’IA) affiche pourtant 50 TOPS, soit 50 000 milliards d’opérations par seconde, de quoi décrocher l’étiquette Copilot+ de Microsoft. Le souci, c’est que les applications courantes ne savaient pas s’en servir pour faire tourner un chatbot. Ollama, l’outil star de l’IA locale, s’appuie sur le processeur ou la carte graphique et laisse le NPU au chômage.

AMD annonce que Unsloth Desktop, l’appli gratuite et open source pour exécuter et entraîner des modèles d’IA sur sa machine, prend désormais en charge ses NPU XDNA 2.

Sont concernés les Ryzen AI 300, 400 et Max, sous Windows 11 comme sous Linux, d’après la documentation d’Unsloth. Le gros du travail repose sur FastFlowLM, un moteur d’inférence (le logiciel qui fait calculer ses réponses au modèle) écrit pour ces NPU, dont l’équipe a rejoint AMD en juillet, et sur Lemonade, le serveur d’IA locale soutenu par AMD. Unsloth apporte l’emballage : un filtre « NPU » dans le catalogue et un bouton « Enable NPU » qui installe le reste.

Un modèle de 35 milliards de paramètres sur un PC portable

La démonstration d’AMD montre Qwen3.6-35B-A3B, le modèle ouvert d’Alibaba sorti en avril, tourner entièrement sur le NPU. Ce modèle à « mélange d’experts » n’active que 3 de ses 35 milliards de paramètres pour chaque morceau de texte, ce qui le rend bien plus léger qu’il n’en a l’air.

Unsloth mesure 17,2 tokens par seconde (un token équivaut grosso modo à un bout de mot), sans préciser sur quelle puce. En tout cas, pour discuter, c’est plus rapide que notre lecture. Mais un agent qui avale des milliers de lignes de code avant de répondre trouvera le temps long face à une bonne carte graphique.

D’ailleurs, Unsloth Desktop expose une API compatible avec celle d’OpenAI, la prise standard du secteur : tout logiciel capable de parler à ChatGPT peut s’y brancher, de Cline à Open WebUI en passant par Hermes Agent.

Une affaire de mémoire avant tout

Le piège se cache dans la RAM. Le NPU n’a pas de mémoire propre et Windows ne lui accorde par défaut que la moitié de celle du PC. Pour faire tourner Qwen3.6 avec tout son contexte (la quantité de texte que le modèle garde en tête), AMD indique qu’il faut environ 28 Go disponibles, donc 64 Go au total. Or beaucoup de PC portables Ryzen AI 300 sont vendus avec 16 ou 32 Go soudés, impossibles à faire évoluer. Avec 32 Go, on se rabat sur Gemma4-12B ou Qwen3.5-9B, entre 7 et 10 tokens par seconde.

Cette nouveauté va donc être intéressante surtout au développeur nomade qui veut un assistant de code hors ligne, ou au propriétaire d’un Strix Halo bien doté.

Mais notez que ce n’est pas le cas des Ryzen 7040 et 8040, dont le NPU de première génération n’est pas pris en charge.

L’autre intérêt du NPU, c’est du côté batterie, Unsloth parle de 2 à 4 fois moins d’énergie par token qu’un GPU, et AMD ne donne aucun chiffre d’autonomie. Seuls les modèles au format Q4NX, compressés sur 4 bits pour FastFlowLM, tournent sur le NPU, soit une poignée de références.

Comment l’essayer sur son PC

Avant de télécharger 20 Go de modèle, il faut vérifier que vitre PC coche les cases. Et pour ça, il faut regarder du côté de la puce et de la RAM qui décident de tout.

Le guide NPU d’Unsloth détaille la marche à suivre :

  • dans le Gestionnaire des tâches, onglet Performances, on cherche une ligne « NPU » et on note la RAM installée ;
  • on installe Unsloth Desktop, on filtre le catalogue sur « NPU » et on clique sur « Enable NPU », qui vérifie au passage le pilote ;
  • on commence par Qwen3-VL-4B (16 Go de RAM recommandés, environ 20 tokens par seconde) avant de viser plus gros.

Si vous voulez recevoir les meilleures actus Frandroid sur WhatsApp, rejoignez cette discussion.

Pour nous soutenir gratuitement, dites simplement à Google d’ajouter Frandroid à vos sources préférées en cliquant ici.

Recherche IA boostée par
Perplexity