Sous Windows, faire tourner une IA sur son propre PC, sans abonnement et sans envoyer ses données dans le cloud, passait jusqu’ici par le terminal. Hugging Face, la plateforme de partage de modèles d’IA, a présenté ce mardi 13 octobre Llama Windows, une application gratuite et open source qui supprime cette étape. Elle s’installe dans la zone de notification, près de l’horloge. On choisit un modèle, on le télécharge en un clic et on discute avec lui, sans droits administrateur. Une fois le modèle téléchargé, tout fonctionne hors connexion et les questions restent sur la machine.
Jusqu’à 330€ d’avantages avec nos offres Hello Prime ou Hello Prime Duo, dont 80€ cash à l’ouverture de compte !
Malgré son nom, l’application ne se limite pas aux modèles Llama de Meta. Elle doit son nom à llama.cpp, un moteur open source d’IA locale. Elle lit donc tous les modèles au format GGUF, comme Qwen, Mistral ou Gemma. Pour chacun, elle affiche le nombre de paramètres (la taille du modèle), la place prise sur le disque et la prise en charge des images.
Quel intérêt face à Ollama ou LM Studio ?
Ollama et LM Studio simplifient déjà l’IA locale. Pourtant, comme le relève Clubic, Llama Windows est développé par l’équipe de llama.cpp elle-même. Il range les modèles dans le dossier standard de Hugging Face, alors qu’Ollama utilise son propre stockage. Un modèle téléchargé une fois sert donc aussi aux autres outils compatibles.
Les développeurs ont aussi droit à un serveur local compatible avec l’API d’OpenAI, l’interface qui permet aux logiciels de dialoguer avec un modèle. Leurs scripts et agents peuvent s’y brancher pour utiliser les modèles installés sur le PC. L’application tourne sur les processeurs x86 et Arm, et aussi sur les nouveaux PC Nvidia RTX Spark.
Par contre, une installation plus simple ne change rien au matériel nécessaire. Les gros modèles demandent toujours beaucoup de mémoire et de puissance de calcul. Llama Windows se télécharge gratuitement sur llama.app, et son code est publié sur GitHub.
Retrouvez un résumé du meilleur de l’actu tech tous les matins sur WhatsApp, c’est notre nouveau canal de discussion Frandroid que vous pouvez rejoindre dès maintenant !
Pour nous soutenir gratuitement, dites simplement à Google d’ajouter Frandroid à vos sources préférées en cliquant ici.
Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Disqus.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Disqus avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)
En cliquant sur « J’accepte tout », vous consentez aux finalités susmentionnées pour l’ensemble des cookies et autres traceurs déposés par Humanoid et .
Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d’informations, nous vous invitons à prendre connaissance de notre Politique cookies.