Votre smartphone est-il intelligent ? AnTuTu mesure et note l'IA dans un nouveau benchmark
AnTuTu lance une nouvelle application de benchmark baptisée AiTuTu (ou AI Review). Comme son nom l'indique, cette application vise à quantifier les capacités de l'intelligence artificielle d'un smartphone.
Le terme "intelligence artificielle" est bien souvent galvaudé. C'est un buzzword que de nombreux constructeurs de smartphones ou de composants ressortent à toutes les sauces pour mettre en avant leurs produits. Afin d'aider les utilisateurs à y voir plus clair, l'entreprise derrière le célèbre benchmark AnTuTu vient de lancer une nouvelle application baptisée AiTuTu, visant à mesurer les capacités d'intelligence artificielle d'un smartphone.
Comment fonctionne AiTuTu ?
AiTuTu se décompose en deux étapes. La première classe un lot d'images en six catégories différentes, tandis que la seconde détecte des objets au sein d'une vidéo. Cela permet de mettre notamment en avant la reconnaissance d'objets au sein d'une image, aussi bien fixe qu'animée. Chaque test reçoit alors un score à nouveau divisé en deux catégories : la vitesse de reconnaissance et la précision, poussant ainsi les constructeurs à éviter de privilégier la vitesse uniquement, quitte à fournir des résultats erronés.
Les deux tests sont respectivement basés sur deux réseaux neuronaux : Inception V3 dans le cas de la classification des photos et MobileNet SSD dans le cas de la reconnaissance d'objets. Ces réseaux neuronaux sont ensuite traduits par le biais du SDK fourni par le constructeur. Dans le cas où le chipset ne supporte pas ces algorithmes, l'application utilise alors TFLite, l'outil open source développé par Google.
Une différence marquée pour le moment
À la rédaction, nous avons eu l'occasion d'essayer plusieurs smartphones haut de gamme afin d'essayer l'application, avec des scores très différents en fonction des marques. Voici quelques-uns des scores que nous avons obtenus :
OnePlus 6T (S845) : 93 120
Nubia Red Magic Mars (S845) : 93 015
Huawei Mate 20 Pro (Kirin 980) : 66 292
Samsung Galaxy Note 9 (Exynos 9810) : 44 915
Toutefois, ces scores sont très peu représentatifs pour le moment. En effet, comme précisé plus haut, les informations sont traduites à un moment au travers du SDK du constructeur. Or, Samsung n'a pas encore mis à disposition son SDK, tandis que HiSilicon (Huawei) se contente pour le moment de reposer sur TFLite afin de fournir le strict minimum aux développeurs. Cela explique donc la forte différence entre les trois plateformes.
Quid de la triche ?
On sait que de nombreux constructeurs ont été pris la main dans la sac en optimisant particulièrement leurs smartphones pour les benchmarks (OnePlus, Meizu, Oppo, Huawei...). On se demande donc dans quelle mesure ce benchmark très particulier ne risque pas d'être source de tricherie à l'avenir. Le test étant basé sur une vidéo bien précise et un panel de 200 photos, on imagine qu'il ne devrait pas être trop dur pour les constructeurs d’entraîner leurs IA sur ce test en particulier.
https://www.youtube.com/watch?v=aQf1wFF7qM0
Quoi qu'il en soit, AiTuTu n'est pas encore disponible sur le Google Play Store, mais vous pouvez d'ores et déjà télécharger l'application en APK via le bouton ci-dessous :
Et si vous ne savez pas comment installer ce fichier APK, notre tutoriel dédié est disponible.