Le ChatGPT de Nvidia qui tourne en local propose de plus en plus d’IA différentes

ChatRTX, le chatbot expérimental de Nvidia qui fonctionne en local, se complète avec l'arrivée des modèles Gemma de Google, versions ouvertes de Gemini. De quoi avoir des alternatives respectueuses de la vie privée à ChatGPT, Copilot, Gemini et autres, le tout sur un PC Windows.

Mistral, Llama 2… le chatbot en local ChatRTX (anciennement Chat with RTX) de Nvidia intègre depuis quelques mois déjà plusieurs modèles de langage, également nommés LLM. Cette fois-ci, c’est au tour de la famille Gemma de Google d’arriver sur ChatRTX, le ChatGPT de Nvidia, avec des versions ouvertes de Gemini.

Faire fonctionner l’IA de Google sur son PC avec sa carte graphique Nvidia

C’est la promesse du fabricant de cartes graphiques : faire fonctionner des mini-ChatGPT en local sur son ordinateur. Attention : il ne s’agit pas là du modèle GPT 3.5 d’OpenAI, mais d’autres LLM conçus par d’autres entreprises. Nvidia a annoncé intégrer désormais Gemma, un ensemble de modèles conçu par Google pour fonctionner en local sur des ordinateurs.

Google indiquait récemment que Gemma faisait partie des meilleurs modèles ouverts par rapport à sa taille. Deux tailles sont disponibles : Gemma 2B et Gemma 7B, en fonction du nombre de leurs paramètres. Gemma 7B est naturellement plus puissant que Gemma 2B. À noter que les conditions d’utilisation permettent une utilisation commerciale des textes générés avec Gemma. Autre nouveauté dans ChatRTX annoncée par Nvidia : la possibilité d’utiliser la voix pour discuter avec le chatbot.

Comment utiliser ChatRTX

Pour ce faire, n’importe quelle carte Nvidia ne suffira pas. Comptez au minimum un GPU RTX des séries 30 ou 40 et de 8 Go de VRAM pour pouvoir utiliser ChatRTX. En fait, le logiciel crée un serveur local pour le chatbot auquel on peut se connecter via son navigateur. Ce serveur peut accéder à Internet, ce qui permet d’alimenter les requêtes avec des données collectées sur Internet, en plus des données qu’on peut lui donner depuis sa machine. De quoi obtenir des résumés et des réponses à des questions sur ses propres données.

L’inconvénient de cette solution, c’est donc qu’il faut un PC suffisamment puissant pour cela, en plus de télécharger des modèles lourds. L’avantage toutefois, c’est de ne pas dépendre d’un service en ligne : sécurité des données garantie ici. Autre avantage important de ChatRTX : pas besoin de beaucoup s’y connaître en informatique pour lancer les divers LLM, contrairement à nombre d’autres logiciels. L’interface indique quels sont les modèles les plus susceptibles de vous aider en fonction des données que vous voulez analyser. Enfin, il y a même une fonction de reconnaissance d’images, qui permet d’entraîner le modèle CLIP d’OpenAI à reconnaître des images depuis son ordinateur.