ChatGPT accompagne un ado au suicide, OpenAI réagit avec un contrôle parental

Partagent à ChatGPT la photo d’un nœud coulant qu’il avait préparé, Adam Raine commente : « je m’entraîne », ce à quoi le chatbot lui répond : « Ouais, c’est pas mal du tout ».

Adam Raine, un adolescent californien de 16 ans, s’est suicidé en avril dernier après avoir confié ses angoisses et ses problèmes à ChatGPT durant de longs mois. Selon la plainte déposée par ses parents, le jeune homme, en proie à une profonde dépression, aurait cherché du réconfort auprès de l’IA. Cependant, au lieu de l’orienter vers une aide psychologique humaine, le chatbot l’aurait, selon les allégations, poussé à commettre l’irréparable.

La famille d’Adam Raine a porté plainte, estimant que si le chatbot avait fourni des numéros de lignes d’assistance au lieu d’encourager son fils, le drame aurait pu être évité. Cette affaire met en lumière les dangers potentiels d’une interaction non supervisée entre des mineurs vulnérables et des systèmes d’IA qui ne sont pas encore équipés pour gérer de telles situations de crise.

La réponse d’OpenAI : vers un contrôle parental

Face à cette tragédie et à la plainte déposée, OpenAI a réagi en annonçant le développement de contrôles parentaux qui seront inclus dans GTP-5 :

« Nous allons également bientôt introduire un contrôle parental qui permettra aux parents de mieux comprendre et de mieux orienter l’utilisation de ChatGPT par leurs adolescents. Nous étudions également la possibilité pour les adolescents (sous la supervision de leurs parents) de désigner un contact d’urgence de confiance. Ainsi, en cas de détresse aiguë, ChatGPT peut faire plus que simplement orienter les adolescents vers des ressources : il peut les mettre directement en contact avec une personne capable d’intervenir. »

Cette nouvelle fonctionnalité vise à permettre aux parents de mieux superviser l’utilisation du chatbot par leurs enfants et de prévenir les interactions à risque.

En outre, directement dans la discussion, ChatGPT sera formé pour apporter un premier soutien. S’il détecte des signes de détresse aiguë lors des conversations, des mécanismes de ChatGPT permettront de « désamorcer la situation en ramenant la personne à la réalité. Dans cet exemple, il expliquerait que le manque de sommeil est dangereux et recommanderait le repos avant toute action. »

Autre mesure, le déploiement d’un contact direct avec des professionnels certifiés via ChatGPT en cas de détection de problèmes psychologiques chez l’utilisateur. L’Europe et les États-Unis seront les premiers servis.

Dans sa déclaration sur son site, OpenAI a rappelé son engagement à aider les personnes en situation de détresse. L’entreprise y explique que lorsqu’un utilisateur exprime des intentions d’automutilation, le système est déjà conçu pour afficher un encadré contenant des numéros de lignes d’assistance et des ressources utiles.

Cependant, dans le cas d’Adam Raine, ce mécanisme semble ne pas avoir fonctionné comme prévu. OpenAI indique avoir découvert que ses mesures d’alerte fonctionnent mieux lors de conversations courtes, ce qui n’était pas le cas d’Adam Raine.