Voici SAM, une IA capable de reconnaître des objets même sans les avoir vus avant

La division de recherche du géant de la tech Meta vient de présenter une intelligence artificielle capable d'identifier et d'extraire des éléments d'une image ou d'une vidéo, même si elle n'a pas été entrainé sur certaines de ces éléments. Une annonce qui place un peu plus l'entreprise dans la course à l'IA.

C’est au tour de Meta de briller dans la course à l’expérimentation sur l’intelligence artificielle. La maison mère de Facebook, Instagram et WhatsApp vient de révéler un modèle d’intelligence artificielle capable de reconnaître des éléments dans une image ou une vidéo puis de les identifier. Encore en développement, ce « Segment Anything Model (SAM) » a été présenté dans un article scientifique prépublié sur le blog de la division de recherche de Meta, mercredi 5 avril.

Si des modèles similaires existent déjà, la particularité de SAM serait de pouvoir retrouver un objet demandé « même dans les cas où il n’a pas été confronté à ces éléments au cours de son apprentissage », explique l’agence de presse britannique Reuters.

Reconnaître, identifier, extraire

Un détail qui n’est pas un, puisque les intelligences artificielles chargées de traiter des images (comme Dall-E, Midjourney ou Scribble Diffusion) sont d’abord entrainées sur d’immenses bases de données afin d’apprendre petit à petit à reconnaître une pomme, un vélo ou un humain. En clair, il faut du temps à une IA pour qu’elle associe un mot à un objet.

Segment Anything a été entrainée avec la même approche. Comme démontré par une démo disponible en ligne, l’IA s’est spécialisée pour analyser un contenu donné puis détecter les contours d’un élément, que ce soit en cliquant dessus ou en scannant l’ensemble de l’image, afin de l’extraire de la photo.

Sur son site de présentation, Meta montre également que l’outil peut identifier un élément demandé par recherche textuelle : tapez « chat » dans la barre de recherche, et SAM dessinera un rectangle autour de chacun des chats présents sur la photo.

De même, une démonstration d’une vidéo analysée par cette IA témoigne de sa capacité à nommer des objets filmés, même brièvement.

Deviner ce qu’il ne sait pas

Pour autant, ce modèle d’apprentissage « a appris une notion générale de ce que sont les objets », selon Meta, lui permettant de catégoriser « des objets et des images inconnus sans nécessiter de formation supplémentaire. » De même, Segment Anything semble être capable de reproduire une image 3D d’un objet à partir d’une simple photo, selon une autre vidéo du site de l’entreprise.

L’IA est donc également capable de deviner les éléments manquants. Des fonctionnalités variées d’intelligence artificielle que Meta pourrait ajouter à ses applications « cette année », selon Reuters, citant une déclaration récente du PDG Mark Zuckerberg sur l’intégration de l’IA comme priorité de l’entreprise.

Meta enfile son dossard pour la course

Comme le rappelle l’agence de presse britannique, Meta utilise déjà « une technologie similaire à SAM en interne pour des activités telles que le marquage de photos, la modération de contenus interdits et la détermination des publications à recommander aux utilisateurs de Facebook et d’Instagram ».

Mais au-delà d’être utile en interne, cette nouvelle technologie est aussi l’occasion pour Meta de conserver sa place dans la course à l’expérimentation de l’IA, débutée avec la mise en ligne de ChatGPT par OpenAI en novembre 2022.

Depuis, Microsoft puis Google ont lancé leur propre service usant d’intelligence artificielle (Microsoft New Bing et Google Bard). Si le service de Meta est plutôt destiné à la recherche, cela reste une manière pour l’entreprise de mettre un orteil de plus sur ce marché sans miser trop gros… comme ce fut le cas avec le métavers.