Retirer Google Assistant du Nest Mini pour le remplacer par ChatGPT, c'est possible
Les modèles de langage pourraient bien révolutionner les assistants vocaux. Depuis plusieurs années, ces derniers ne sont pas réellement considérés comme intelligents : bien souvent, ils n'ont pas réponse à nos questions. Ce qui est bien moins le cas que les modèles de langage, comme ChatGPT, Bing Chat ou encore Google Bard. C'est pourquoi un expert de l'IA nommé Justin Alvey a réussi à remplacer Google Assistant dans son enceinte connectée Nest Mini par GPT-3.5, comme il l'a raconté sur Twitter.
La Nest Mini n'a pas vraiment été « hackée », mais complètement modifiée
Justin Alvey raconte avoir d'abord pensé à jailbreak son enceinte Google, à la manière d'un iPhone, pour utiliser le système de son choix. Très vite, il s'est tourné vers le remplacement complet du circuit imprimé. Selon lui, cela permet d'utiliser une puce Wi-Fi à deux dollars assez puissante et facile à configurer.
L'idée est de décharger la détection vocale et l'utilisation du modèle de langage sur un ordinateur chez soi, puisqu'il faut une certaine puissance de calcul pour cela. Ce passionné d'électronique a également réussi à configurer les LED et les boutons tactiles afin de les utiliser, à l'aide d'une petite carte Arduino.
Google Assistant, c'est basiquement ChatGPT et une synthèse vocale
Pour la génération de texte, Justin Alvey a fait le choix de GPT-3.5 et de son API, principalement pour sa réactivité. Quant à l'interaction entre les serveurs d'OpenAI et son ordinateur, il utilise l'API. Il a également réussi à connecter Beeper, un service de messagerie permettant de lier toutes ses applications de messagerie instantanée. Dans la requête personnalisée qu'il formule à chaque fois pour conditionner l'IA, il a ajouté des détails, « tels que la famille et les amis, la date du jour, les préférences en matière de notification et une liste de voix de caractères supplémentaires que GPT peut utiliser pour répondre. »
Quant à la génération de la voix, il utilise le modèle d'EvenLabs. Pour le moment, le projet n'a été développé par par Justin Alvey, mais ce dernier a annoncé travailler sur la mise à disposition de tous de son projet, en open source. Cela comprendra le design du circuit imprimé, les instructions de construction, le code source du bot et du serveur. Au-delà de simplement utiliser un Nest Mini, son système permet aussi de créer son propre assistant vocal.
Quels sont les avantages par rapport à Google Assistant ?
Cet assistant vocal « fait maison » permet entre autres de lire ses messages. En effet, grâce au service Beeper, on peut connecter toutes ses messageries. Cela permet à Justin Alvey de demander à son enceinte s'il a reçu des nouveaux messages. Si c'est le cas, l'enceinte peut lui indiquer qui lui a envoyé un message et sur quel service, en indiquant le contexte de son contenu.
GPT-3.5 peut même relire les précédents messages en recherchant dans les discussions et en envoyer. Le système permet aussi de gérer ses rendez-vous, de noter des idées à tout moment, simplement à la voix.