Ce vendredi, nous avons eu l’occasion de visiter les locaux de DxOMark, situés à Boulogne-Billancourt. L’occasion de découvrir à la fois leurs laboratoires de test, mais également leur protocole en compagnie de Frédéric Guichard, cofondateur et directeur technique (CTO) de DxOMark.

Le classement DxOMark au 23 août 2019

Alors que Honor a lancé ce jeudi le Honor 20 Pro, la marque est particulièrement fière des performances photo de son nouveau smartphone. Il faut dire qu’elle a obtenu la note de 111 sur DxOMark, actuellement le quatrième meilleur score pour un smartphone derrière les Samsung Galaxy Note 10+ 5G, Huawei P30 Pro et Samsung Galaxy S10 5G. Honor France m’a donc proposé de visiter les locaux de DxOMark afin de parler du Honor 20 Pro, mais surtout pour découvrir ce laboratoire devenu en quelques années la référence de la photo sur smartphone.

Qui est DxOMark ?

Basé à Boulogne-Billancourt, DxOMark est depuis 2017 une entreprise indépendante de DxO Labs — qui conçoit notamment le DxO One et des solutions d’amélioration de la qualité d’image pour les photographes. Son activité, toujours centrée autour de la photo et la vidéo, s’axe sur différents points stratégiques.

Historiquement, DxO Labs travaillait directement pour les usagers d’appareils photo en leur fournissant des corrections automatiques des défauts dus à l’optique ou au capteur, sous forme logicielle (DxO PhotoLab) ou sous forme intégrée directement dans les appareils. Pour développer ces corrections, DxOMark a donc conçu différents outils d’analyse pour un usage interne. L’idée était ainsi de développer un correctif permettant aux utilisateurs d’avoir accès aux meilleurs réglages possible en fonction de leur appareil photo et de leur caillou.

Par la suite, en 2003, DxOMark s’est dit qu’il pourrait vendre également les scènes ainsi que son propre logiciel d’analyse, sobrement baptisé DxO Analyzer. L’idée est ainsi de proposer à la fois à certains médias spécialisés, mais également à des industriels une solution d’analyse photo pour qu’ils puissent évaluer différents appareils indépendamment.

La scène emblématique de DxOMark, ici capturée par le Honor 20 Pro

Sur la base de ses analyses techniques, DxOMark travaille également avec certains constructeurs en amont de la commercialisation des appareils afin qu’ils puissent optimiser leurs appareils photo. L’idée est alors de corriger certaines défaillances qui ne seraient pas systématiquement visibles, mais qui pourraient gêner les utilisateurs une fois l’appareil acheté. L’objectif était donc d’affiner tous les réglages et corrections numériques pour profiter au mieux de la combinaison boîtier+objectif.

Surtout, DxOMark s’est fait connaître dans le monde de la mobilité par ses tests particulièrement détaillés de smartphones. Ils permettent d’évaluer les performances photo des smartphones, aussi bien pour le module arrière que, depuis janvier dernier, pour les selfies. C’est logiquement cette note qui nous intéresse particulièrement, mais également les tests en question et les différents critères pris en compte pour l’évaluation des appareils.

Comment sont testés les smartphones chez FrAndroid ?

Le protocole de test

Arrivé dans les bureaux de DxOMark, Frédéric Guichard, cofondateur et CTO de DxOMark, m’a rapidement accompagné faire une petite visite des locaux. Derrière les portes aux noms de réalisateurs et réalisatrices (Sofia Coppola ou Agnès Varda par exemple), des salles sombres totalement opaques : me voici arrivé dans les laboratoires de DxOMark.

Test en cours sur un Huawei P30 Pro

Pour chaque laboratoire, un technicien ou une technicienne supervise le test photo. Si ceux-ci sont en partie automatisés, il faut dire que ce sont des milliers de photos qui sont prises pour chaque test et qu’il faut donc s’assurer du bon déroulement des prises de vue, mais également du remplacement des scènes au fur et à mesure. Derrière une porte, on peut apercevoir un Huawei P30 Pro en train d’être testé pour vérifier la netteté, la stabilisation ou la mise au point avec une luminosité de 10 nits grâce à une machine tout en mouvement. Derrière une autre porte, c’est un smartphone recouvert d’un tissu — qui n’a donc pas été annoncé encore — qui se concentre sur le test du mode portrait avec un mannequin très réaliste.

Ici, un test de DxOMark pour le mode portrait

Un peu plus loin dans les locaux, on pénètre dans un grand entrepôt rempli d’étagères. C’est là que DxOMark conçoit ses différentes scènes de test, aussi bien celles qui sont utilisées en interne pour les analyses maison que celles qui sont commandées par les clients de la marque. Le système est ingénieux : un rétroprojecteur vient afficher l’image de la mire sur une table et il suffit aux techniciens de bien positionner les éléments les uns sur les autres précisément au bon endroit.

L’atelier de fabrication des scènes de DxOMark

Pourtant, cette description des scènes de test pourra décontenancer les lecteurs habitués à lire les tests de smartphones sur le site de DxOMark. Il faut dire que ces photos de laboratoires ne sont que très peu présentes dans les tests publiés sur le site Internet, mais elles sont représentées par des graphiques pour l’exposition, le bruit numérique ou le piqué. Pourtant, les données sont bien utilisées, en support des clichés pris en conditions réelles. Elles sont d’ailleurs plus simples à exploiter, puisque les conditions sont identiques pour chaque smartphone.

Les photos réalisées en conditions réelles sont quant à elles plus complexes à prendre en compte. Afin de pouvoir évaluer le smartphone testé, les techniciens de DxOMark partent systématiquement avec plusieurs modèles concurrents et prennent donc les clichés au même endroit, avec le même angle et au même moment pour les différents smartphones. Il s’agit là d’une manière de s’assurer que les conditions de prise de vue soient identiques. Pour chaque série de photo, les techniciens vont alors classer les smartphones sur une échelle avec un appareil référent, un autre médiocre et plusieurs modèles entre les deux. Il leur appartiendra alors de positionner sur cette échelle le smartphone testé.

Des tests faits avec le mode par défaut

Après la visite, j’ai pu m’entretenir un bon moment avec Frédéric Guichard sur l’évolution de la photo sur smartphone — notamment en comparaison des compacts ou reflex — mais également sur certains choix de DxOMark et certains tests qui ont pu être vivement critiqués.

Beaucoup d’utilisateurs, de médias ou d’experts considèrent le Google Pixel 3 comme le meilleur appareil photo disponible actuellement sur smartphone. Pourtant, le smartphone de Google n’arrive qu’à la 16e place du classement DxOMark avec la note de 101. Un placement que beaucoup d’utilisateurs ont pu critiquer, mais que Frédéric Guichard assume sans sourciller. Selon le cofondateur de DxOMark, cette note s’explique notamment par l’absence de véritable zoom sur le Google Pixel 3. Lorsqu’on lui fait remarquer que le smartphone est tout de même exceptionnel en photo de nuit, il rétorque que c’est probablement le cas, mais que ce mode n’a pas été testé par DxOMark.

Le Google Pixel 3

Et pour cause, les tests de DxOMark s’attardent sur les paramètres par défaut de l’appareil photo du smartphone. Il n’est pas question ici de tester les différents modes, d’activer l’intelligence artificielle si elle est désactivée de base, de passer en mode portrait manuellement ou de basculer vers un mode cliché nocturne : tous les clichés sont pris avec le mode par défaut sans toucher aux paramètres. Seule exception, le zoom qui se fait avec un système de pincement. L’idée est toujours la même : prendre le smartphone tel que sorti de sa boîte et évaluer les performances photo comme elles le seront par la majorité des utilisateurs. Tout le monde ne s’amuse pas à tester les différents modes et beaucoup se contentent du mode automatique ? DxOMark fait donc de même.

DxOMark à la fois juge et partie ?

Une autre critique est régulièrement faite à DxOMark. En tant que conseiller technique de certains constructeurs, il est donc rémunéré par les marques. Or, les smartphones de ces marques sont ensuite évalués par DxOMark qui va donc avoir tendance à leur mettre une bonne note… puisqu’elles ont suivi ses conseils. Là encore, Frédéric Guichard entend la critique, mais assume complètement : « J’espère bien que si les marques viennent nous voir c’est pour améliorer la qualité photo. Et j’espère bien que si la qualité photo est bonne, notre test saura le relever ». Il tient quand même à rassurer quant au rôle de DxOMark lors de la phase de conseil : « Aujourd’hui, pour les smartphones on en est encore à juger et relever les points inacceptables ». Il ne s’agit donc clairement pas de favoriser un smartphone parce que les couleurs sont très fidèles — ou trop saturées au contraire — ni parce que la balance des blancs est trop chaude : « sur ces critères, on respecte les choix des constructeurs ».

Le OnePlus 7 Pro

Avant de partir, un dernier sujet nous titillait. Le cas où un constructeur utilise la note DxOMark pour sa communication tout en sachant que la version finale pour le consommateur ne sera pas au niveau. Pour le dire plus clairement : le cas du OnePlus 7 Pro. Sans citer le constructeur chinois, Frédéric Guichard se veut néanmoins ferme : « Ce sont des cas compliqués et évidemment on n’apprécie pas. Mais dans ces cas-là, on discute et les choses évoluent rapidement ». Une manière de rappeler à demi-mot que OnePlus a au moins fait l’effort de multiplier les mises à jour de son smartphone haut de gamme et que l’expérience photo est désormais au niveau de ce que DxOMark a pu tester. Mieux vaut tard que jamais…

HDR, mode nuit, capteurs, objectifs… On vous explique tout sur la photo sur smartphone