Nous sommes dans une période de rumeurs, entre le Consumer Electronic Show et le Mobile World Congress. C’est juste horrible de naviguer sur les médias tech, entre les rumeurs sur les derniers benchmarks du Galaxy S7, les photos volées du Xiaomi Mi5, les croquis du LG G5, la supposée disparition du port casque sur l’iPhone 7… Effectivement, ce sont souvent des indices et des informations pertinentes qui amènent à des débats, parfois très intéressants. Mais il y a également des choses moins intéressantes et surtout vraiment pas excitantes, comme les résultats de benchmarks.

AnTuTu

AnTuTu

Ils sont peut-être authentiques, mais ces résultats captés n’en sont pas moins ennuyeux. Il est évident que quelques utilisateurs dans le monde sont en train de tester ces appareils qui seront, pour la plupart, annoncés au Mobile World Congress.

Comme de nombreux technophiles que nous sommes, vous vous sentez obligés de lancer “un petit benchmark” sur votre nouvel appareil ou à l’installation d’une nouvelle mise à jour – j’ai le même réflexe avec les speedtest sur les réseaux (supposés manipulés par les opérateurs mobiles). Néanmoins, ce sont des chiffres que l’on interprète difficilement, puisqu’il s’agit d’un subtil mélange de paramètres que l’on doit utiliser dans des conditions prédéterminées.

 

Pour y voir plus clair

Les benchmarks synthétiques comme AnTuTu et GeekBench se contentent de mesurer les performances brutes du SoC, ce qui ne représente pas nécessairement les performances obtenues en pratique. Les benchmarks applicatifs tels que PCMark ou 3DMark et GFXBench tentent quant à eux de simuler de véritables utilisations, comme le scroll sur une page web ou l’affichage d’une scène en 3D, mais il existe un biais : la triche.

Avec ces outils, nous arrivons à bousculer les appareils. Ils sont pertinents pour nous permettre de vérifier ce que l’on observe souvent à l’usage – c’est pour cela que nous les utilisons dans nos tests d’appareils.

 

Pourquoi cela nous ennuie tout de même

Avec le Galaxy S7, nous avons rapidement vu débarquer de nombreux résultats de benchmarks. Le plus connu, c’est celui d’AnTuTu, qui a soumis l’hypothèse que Samsung avait collaboré avec Qualcomm pour intégrer le nouveau Snapdragon 820. Cette architecture, nous la connaissons depuis l’année dernière, Vincent l’a déjà testée sur les plateformes de Qualcomm.

Plus sur le même sujet : Qualcomm Snapdragon 820 : notre test de performances, en...

Plus sur le même sujet : 7 fonctionnalités du Qualcomm Snapdragon 820 que les...

Ces fameuses plateformes sont souvent des kits de développement, bien optimisés et conçus pour profiter de toutes les fonctions apportées par le SoC. Une sorte de vitrine pour Qualcomm. Comparer ces résultats avec ceux que l’on retrouve pour le supposé Galaxy S7, n’apportent rien.

Surtout que les appareils actuellement sur le réseau, comme le Galaxy S7 et le LG G5, sont des unités non finales. Nous sommes loin des versions commerciales qui sortiront au cours du premier semestre, surtout à plusieurs semaines de l’annonce et à plusieurs mois de la sortie commerciale. Sans oublier le fait que ces résultats peuvent être manipulés, des traces de triche ont déjà été repérées – comme HTC One M8 et le Samsung Galaxy S4.

La triche la plus répandue est celle qui consiste, pour les OEM, à détecter le lancement du benchmark (grâce au nom du processus) et de passer le SoC en mode hautes performances afin d’augmenter les fréquence de fonctionnement, ce qui ne reflète pas le fonctionnement « normal » de la puce. HTC et Samsung ont par exemple déjà été pris en flagrant délit de triche sur 3DMark. C’est notamment pour cette raison que des outils comme GameBench ont vu le jour.

Enfin, ces tests tournent souvent dans des conditions optimales : les unités de tests servent rarement à une utilisation quotidienne, peu d’apps sont installées et souvent très très peu de services sont en tâche de fond.

 

Pourtant, des benchmarks ont une certaine pertinence

Lors de nos tests, les benchmarks ont une vraie pertinence. Nous testons des appareils avec des versions commerciales, dans la très grande majorité des cas. Quand nous observons à l’utilisation – une fois nos apps installées avec notre carte SIM – une certaine fluidité, ou à l’inverse des ralentissements, puis nous faisons appel aux outils de benchmarks. Ces outils nous permettent surtout de vérifier nos observations, comme la latence observée sur certains jeux ou encore les ralentissements observés dans les animations de transition.

benchmark5

Je vous conseille de lire l’excellent dossier sur GameBench, qui vous permettra de mieux identifier les différents outils de benchmarks, et leur utilité.

En tout cas, le Samsung Galaxy S7 et le LG G5 n’en restent pas moins excitants, mais ces résultats de benchmark sont ennuyants et inutiles. Vous n’êtes pas d’accord ?