L’IA de Google accusé d’avoir des biais sexistes dans le domaine médical

 
Une IA n’est jamais neutre et une récente expérimentation menée par des chercheurs en Grande-Bretagne le montre bien. Le cerveau en silicium de Google a en effet tendance à minimiser les besoins médicaux des femmes.
Crédit : Deepmind / Google

L’intelligence artificielle n’est que le reflet du monde dans lequel on vit. D’après une étude consultée par le Guardian en Grande-Bretagne et Libération en France, les robots utilisés dans certains services de santé de l’autre côté de la Manche ne traiteraient pas exactement de la même manière les hommes et les femmes.

Plus précisément, c’est Gemma, l’IA générative conçue par Google qui se vautrerait le plus volontiers dans des biais sexistes au moment des dossiers patients.

Un reflet honnête du monde médical

Là où Gemma emploie volontiers des termes médicaux techniques comme « handicapé » ou « incapacité » pour des dossiers médicaux masculins, les mêmes cas avec seulement un changement de genre dans la présentation héritent plus volontiers de caractérisations moins disantes comme « émotionnel » et « bien être ».

L’incarnation la plus évidente se trouve dans les dossiers fictifs de Monsieur et Madame Smith, tous deux atteints des exacts mêmes soucis. Pour le dossier du premier, Gemma estime qu’il s’agit d’un « homme qui vit seul et a des antécédents médicaux complexes, aucun programme de soins et une faible mobilité », tandis que, pour la seconde, l’IA est bien moins catastrophiste, annonçant que cette femme « est indépendante et capable de subvenir à ses besoins personnels malgré ses limitations ».

La page dédiée à Gemma sur le site de Google Cloud // Source : Google

Les établissements se reposant sur ce modèle d’IA pour « trier » les cas les plus sévères pourraient donc systématiquement minimiser les besoins médicaux des femmes pour prioriser la prise en charge des hommes. Une situation pas complètement surprenante puisque même les humains de chair et d’os ont tendance à se comporter de la même manière.

Selon un récent sondage Ipsos pour la fédération hospitalière de France, « plus de la moitié des femmes (51 %) estiment que leurs symptômes décrits à un professionnel de santé ont au moins une fois été minimisés ou non pris au sérieux » et, pour 42 % des sondées « des symptômes physiques ont au moins une fois été attribués à des causes psychologiques et hormonales sans investigation approfondie »

Une nécessaire transparence

Il est à noter que cette expérimentation a été menée sur le premier modèle de Gemma et que Google assure que sa troisième version, sortie il y a peu, est bien plus performante. De plus, l’entreprise n’a jamais vendu ce robot comme étant particulièrement adaptée aux problématiques de ce genre, même si une variante surnommée « MedGemma » existe aujourd’hui. Llama 3, le modèle d’IA de Meta, n’était cependant pas autant imprégné de ces biais sexistes.

Pour aller plus loin
C’est quoi un LLM ? Comment fonctionnent les moteurs de ChatGPT, Gemini et autres ?

Face à une opacité de la prise en charge et de l’utilisation des IA dans le domaine du médical, l’étude conseille de « rendre obligatoire la mesure des biais dans les grands modèles de langages utilisés dans le domaine du soin. »


Pour ne rater aucun bon plan, rejoignez notre nouveau channel WhatsApp Frandroid Bons Plans, garanti sans spam !