Une étude portant sur les performances dans les jeux entre différents terminaux iOS et Android vient d’être publiée. Le Samsung Galaxy S6, le HTC One M9, le Nexus 6 et l’iPhone 6 d’Apple ont tous les quatre été comparé dans 10 jeux différents. L’étude permet de distinguer les smartphones entre eux en terme de performance, mais elle pose également beaucoup de questions sur l’industrie du jeu vidéo mobile.

iPhone vs Galaxy S6

Comme vous l’avez remarqué, depuis quelques mois, notre protocole de test sur la partie performance a évolué. Nous utilisons l’outil GameBench de notre partenaire afin de mesurer les performances des smartphones et tablettes dans les jeux. L’avantage est de permettre au consommateur de savoir si son appareil permettra de faire tourner correctement un jeu gourmand, contrairement à un benchmark qui donne plus un indice de performance pour trier les téléphones entre eux. Une pratique énormément répandu dans le monde PC pour choisir au mieux son ordinateur ou son composant. GameBench est pour le moment disponible publiquement pour Android mais les développeurs ont réussis à réaliser une version privée pour iOS, afin de livrer cette grande étude. L’objectif est ici de comparer différents terminaux sous Android et iOS.

Protocole de test

Ainsi, l’équipe de GameBench a pu comparer les performances des iPhone 6, Galaxy S6, One M9 et Nexus 6 dans 10 jeux différents : Asphalt 8, Real Racing 3, Dead Trigger 2, Kill Shot, Boom Beach, XCOM: Enemy Within, GTA: San Andreas, Modern Combat 5, Marvel: Contest of Champions et Monument Valley. On a donc dans le lot quatre smartphones haut de gamme et différents types de jeux, des plus lourds aux plus légers. L’équipe a alors lancé chaque jeu 15 minutes sur chaque terminal pour relever la médiane du nombre d’images par seconde (FPS) sur cette période, la stabilité du framerate (nombre de FPS) et le framerate minimum (FPS minimum).

La médiane est utilisée, contrairement à la moyenne, pour éviter de donner trop d’importance à des micro fluctuations qui pourraient être dues à un passage dans le menu ou au lancement d’une cinématique par exemple, capable de monter à 60 FPS ou de descendre à 0 FPS. Le FPS minimum permet quant à lui de connaître le nombre d’images par seconde minimum atteint par le terminal dans les scènes les plus lourdes et qui ne se voit pas dans le FPS médian mais qui influe (négativement) sur l’expérience. Enfin, l’indice de stabilité permet de savoir si le framerate médian est stable, ou si de nombreux ralentissements interviennent lors de la partie. Si cet indice est de 100 %, cela signifie que le framerate durant la partie était compris dans une fourchette de +/- 20 % du framerate médian.

Une bonne machine de jeu doit être capable d’afficher le plus possible d’images par seconde. Certains pensent que l’œil n’est pas capable de voir plus de 24 images par seconde. C’est faux et cet excellent article de Nofrag (ancien mais toujours au goût du jour) l’explique mieux que je ne pourrais le faire. Les écrans actuels des smartphones et tablettes affichent au maximum 60 images par secondes (puisqu’ils sont rafraichis 60 fois par seconde avec 60 Hz).  Bien entendu, le framerate idéal dépend des jeux. Pour un FPS nerveux ou un jeu de voiture, on préfèrera 60 images par seconde alors que pour un jeu d’aventure, 30 images par seconde conviendront. Il faudra aussi que la mesure Minimum FPS ne soit pas trop faible et que le taux de stabilité se rapproche de 100 %. Passons aux résultats.

Résultats

GameBench iPhone 6 Galaxy S6 HTC One M9 Nexus 6

Ce graphique fait la moyenne des résultats obtenus par les quatre smartphones sous les 10 jeux. Comme on peut le voir, l’iPhone 6 se permet de prendre la première position, avec un framerate médian supérieur à 40 FPS quant la concurrence dépasse à peine les 35 FPS. La stabilité du framerate de l’iPhone 6 est également meilleure que chez la concurrence puisque l’appareil d’Apple s’approche davantage de la barre des 100 %, témoignant d’une expérience de jeu très peu impactée par des baisses subites de framerate.

L’iPhone 6 vraiment devant la concurrence ?

Si on s’arrêtait là, on pourrait en conclure que l’iPhone est plus performant que les flagships sous Android. Mais c’était sans compter sur les spécificités de chaque OS, de chaque terminal et de chaque jeu. Si on regarde dans le détail l’étude (qui intègre les résultats détaillés pour les dix jeux et les quatre terminaux), on se rend compte que l’iPhone 6 n’est pas forcément plus puissant. En effet, de nombreux jeux Android sont bloqués à 30 FPS, contrairement à leur version sous iOS. Ainsi, l’iPhone peut souvent dépasser les 30 FPS pour améliorer son résultat final. Pire, le Galaxy S6 est capé à 30 FPS sous Asphalt 8 alors que le Galaxy Note 4 (en version Exynos) atteint sans problème les 60 FPS. Mais à l’inverse, sous Real Racing 3, c’est l’iPhone 6 qui est bloqué à 30 FPS alors que les autres terminaux n’ont pas cette limite (même si la plupart sont incapables de la dépasser à cause d’une puissance insuffisante).

Asphalt 8 GameBench

On a donc déjà un paramètre qui influe, à la baisse les résultats des smartphones sous Android. Trop de jeux (6 sur 10 pour Android) bloquent le framerate à 30 FPS. Parfois de manière irrégulière, c’est-à-dire sur un terminal et pas l’autre comme sur Asphalt 8. Pour ce dernier cas, il est possible que ce soit un bug. Mais c’est également possible que les constructeurs demandent aux développeurs d’agir de la sorte afin d’éviter de trop utiliser le GPU (puce graphique) pour augmenter l’autonomie et diminuer la chauffe.

Real Racing 3 GameBench

L’autre paramètre, capable d’influer les résultats, c’est la définition du terminal. Les quatre smartphones utilisent trois définitions différentes : HD pour l’iPhone 6, Full HD pour le One M9 et QHD pour le Nexus 6 et le Galaxy S6. Comme nous l’avons relevé à plusieurs reprises, les dalles QHD consomment environ 50 % de puissance GPU supplémentaire par rapport à une dalle Full HD. On pourrait alors croire que les terminaux Android sont handicapés par leur haute définition. Dans les faits, les jeux sont rarement lancés à la définition maximal du terminal. Ainsi, lors de nos tests, nous avons vu que Real Racing 3 ne se lançait jamais en QHD mais dans une définition inférieure, sûrement en Full HD voire parfois même en HD. Difficile donc de comparer des choses peu comparables. Il serait alors bien de pouvoir régler, directement dans les jeux, la définition de rendu.

D’ailleurs, les réglages des jeux constituent un autre paramètre capable d’influencer les résultats. Sur certains jeu (comme GTA: San Andreas) il est possible, sous Android contrairement à iOS, de régler la distance d’affichage, le niveau de détail, la définition, les ombres et les réflexions. C’est beaucoup trop rare et ça vaut le coup d’être signalé. On aimerait que les développeurs proposent ce genre d’options sur l’ensemble de leurs créations, pour ne pas avoir à passer par des manipulations douteuses, lorsque cela est possible. Sous iOS en revanche, GTA ne permet pas de modifier les options. Avec les options au maximum, GTA serait plus joli sur le Galaxy S6 que sur l’iPhone 6 si l’on en croit l’équipe de GameBench.

Enfin, il est possible que la gestion des fréquences de fonctionnement du couple CPU / GPU soit différente d’un appareil à l’autre. Nous avons déjà étudié en détail ce paramètre sur le Galaxy S6 ou encore sur le One M9 comparé au One M8. Certains smartphones ont pour fâcheuse habitude de faire chuter drastiquement la fréquence de fonctionnement de leurs composants au bout de quelques minutes de jeu, dégradant fortement l’expérience de jeu. Au contraire, comme nous l’avons vu dans notre comparatif entre le Galaxy S6 et l’iPhone 6, le smartphone d’Apple n’est pas victime de ce phénomène.

Deux écosystèmes et deux approches différentes

Finalement, ce comparatif met en exergue les différentes fondamentales existant entre Android et iOS. Sous Android, l’utilisateur est un peu plus libre, dans le choix du matériel mais aussi de la partie logicielle. Justement, cela peut constituer une difficulté pour les développeurs, obligés de prendre en compte de multiples configurations. Le travail d’optimisation est alors plus délicat. On espère donc que l’Android Extension Pack et Open GL ES 3.1 améliorent un peu les choses, face à l’API maison d’Apple répondant au nom de Metal.

iPhone 6 vs Galaxy S6 GameBench

Pour le moment, les aficionados des jeux mobiles (pour ne pas dire hardcore gamers) feraient mieux de se tourner vers iOS et l’iPhone 6 s’ils souhaitent une expérience supérieure dans la plupart des cas. Toutefois, le constat n’est pas si sombre pour les terminaux Android puisque le Galaxy S6 de Samsung a réussi à placer la barre bien plus haut que précédemment. Avec un environnement de développement plus optimisé, les développeurs pourraient bien nous proposer des jeux de qualité dans un futur proche. Et c’est justement là tout l’enjeux d’un écosystème : attirer les meilleurs applications et jeux. A ce petit jeu, Apple s’en sort, pour le moment, un peu mieux que Google.

Il faudra donc attendre que l’industrie du jeu mobile soit un peu plus mature (avec pourtant un chiffre d’affaire qui devrait dépasser cette année celui du jeu sur console), que ce soit sous Android mais également iOS, en proposant, à la manière des jeux sous PC et certains sur console, de pouvoir régler la qualité des graphisme aux goûts de chacun et surtout, à la puissance de chaque terminal, sans passer par des fichiers de configuration par défaut. Et on ne parle même pas des terminaux d’entrée / milieu de gamme qui voient leurs réglages graphiques être imposés par les éditeurs, avec des performances parfois supérieures aux flagships mais une qualité visuelle en retrait. On pourrait alors avoir, sur chaque jeu, la configuration minimale et recommandée, comme pour le jeu PC. Il y a donc encore beaucoup de chemin à parcourir.