Faut-il dire adieu à la souris ? Windows lance l’IA qui clique et tape à votre place depuis la barre des tâches grâce à Nvidia

Le clic, c'est fini ?

 
NVIDIA et Microsoft annoncent OpenShell, un runtime qui transforme la barre des tâches Windows en lanceur d’agents IA capables d’agir tout seuls dans vos applis. Les démonstrations sont impressionnantes, et vont parler autant au grand public qu’aux professionnels.
Jensen Huang avec des ordinateurs portables RTX Spark

Sur scène au Computex 2026 de Taipei, NVIDIA a fait concevoir une maison entière par un agent IA, en direct.

L’utilisateur fournit un croquis et un moodboard, l’agent ouvre Rhino, modélise le terrain, propose des volumes, génère l’agencement intérieur, puis exporte vers Blender pour un rendu photoréaliste via le modèle Flux 2.

La démo dure deux minutes, le PC bosse seul, l’opérateur ne fait que valider les étapes. La promesse n’est plus une lubie de geek : c’est désormais un axe produit officiel signé NVIDIA et Microsoft.

OpenShell arrive sur Windows avec NVIDIA

Derrière la démo, la vraie annonce s’appelle OpenShell. Un runtime open source publié sur GitHub par NVIDIA, couplé à de nouvelles fonctions de sécurité Windows développées avec Microsoft, qui sert de chef d’orchestre pour faire tourner des agents IA en local.

OpenShell sur Windows

L’outil avait été présenté en mars, il arrive maintenant directement intégré à Windows. Microsoft apporte une couche d’identité, de confinement et de politique de sécurité pour faire tourner l’agent dans une sandbox isolée du reste du système. NVIDIA y branche son runtime, qui décide ce que l’agent a le droit de faire, à quels fichiers il accède, et surtout : il route chaque requête.

Une question simple part vers un modèle local (un Qwen 3.6 à 27 milliards de paramètres tient désormais sur une machine personnelle, et selon NVIDIA il dépasse le Qwen 3.5 cloud à 197 milliards sorti deux mois plus tôt).

Les nouvelles possibilités offertes par les IA en local

Une requête plus lourde bascule vers le cloud (GPT, Claude ou Gemini par exemple), mais alors OpenShell « déguise » au passage vos infos personnelles avant l’envoi. Hermes Agent et OpenClaw, deux projets agentiques très populaires sur GitHub, vont intégrer OpenShell et les briques de sécurité Microsoft dans leurs prochaines applications Windows.

Du clic à l’intention

Mark Gerberman, qui dirige les produits PC portables chez NVIDIA, l’a posé sans détour à Computex : depuis Windows 1.0 en 1985, on travaille au clavier et à la souris dans une fenêtre. Quarante ans plus tard, OpenShell prétend remplacer ce contrat de base par un autre.

On formule une intention, l’agent exécute. Voix, caméra, contenu à l’écran : tout devient un input valide. Concrètement, deux choses changent. D’abord, plus besoin de maîtriser chaque appli (Photoshop, Premiere, OBS, Rhino, Blender), puisque l’agent connaît leurs API à votre place.

Des usages pour les joueurs, les créatifs et les développeurs

Mieux : pour les applis qui n’exposent pas d’API, NVIDIA s’est associé à H Company pour optimiser le « computer use », cette technique qui laisse l’agent voir l’écran et piloter la souris comme un humain. Le gain de 2x annoncé vise plus largement l’inférence des modèles agentiques sur llama.cpp, pas spécifiquement le computer use. Ensuite, l’agent continue de bosser pendant que vous dormez.

NVIDIA met en avant trois scénarios : un développeur qui laisse son agent surveiller un repo GitHub la nuit et proposer des correctifs au matin, un streamer qui lui dit « je vais dîner » et le laisse couper le micro, changer la scène OBS et éteindre les lumières connectées, ou un créatif qui pilote ComfyUI à la voix pour générer des images.

Au passage, NVIDIA permettait déjà de sécuriser OpenClaw avec NemoClaw disponible depuis plusieurs semaines.

La promesse face à la réalité

Avant de jeter clavier et souris à la poubelle, on garde un peu de mesure. Les démos tournent sur des machines équipées de la nouvelle puce RTX Spark, qui n’arrivera qu’à l’automne 2026 chez ASUS, Dell, HP, Lenovo, MSI et Microsoft Surface, et sur des mini-PC pensés pour faire tourner les agents 24h/24.

L’exemple des terrains de tennis

Autrement dit : la partie agent depuis la barre des tâches est annoncée, pas livrée à grande échelle. Les briques côté Microsoft seront détaillées à la keynote Build, qui démarre le 2 juin, soit demain au moment où on écrit ces lignes. En théorie, il sera tout à fait possible de faire tourner ces agents sans avoir de puces Nvidia. Mais bien entendu, plus votre GPU sera puissant (et dotée de mémoire vive), plus vous pourrez lancer de tâches compliquées.

Et un agent qui choisit seul ce qu’il envoie au cloud, ça ne dispense pas d’une politique de confidentialité claire, qu’on jugera en conditions réelles plutôt qu’en démo. Pour qui ça vaut déjà le coup d’attendre : les développeurs, créatifs et streamers qui passent leur journée à enchaîner des tâches mécaniques entre dix applis. Pour les autres, on en reparle quand un agent saura vraiment réserver un court de badminton sans se planter. L’exemple est de NVIDIA, pas de nous.


Retrouvez un résumé du meilleur de l’actu tech tous les matins sur WhatsApp, c’est notre nouveau canal de discussion Frandroid que vous pouvez rejoindre dès maintenant !

Recherche IA boostée par
Perplexity