Pixel binning, HDR, capteurs, mode IA... on vous explique tout sur la photo sur smartphone
Alors que les puces les plus puissantes équipent certains smartphones milieu de gamme, que l'autonomie la plus longue est parfois tenue par des appareils d'entrée de gamme ou que les innovations de design se font aussi sur des smartphones à 500 euros, c'est la photo qui est devenue le facteur différenciant des smartphones les plus haut de gamme.
Pour ce faire, les constructeurs de smartphones ont travaillé d'arrache-pied pour proposer d'excellents photophones. Non seulement ils ont repris les techniques de la photo numérique traditionnelle, comme on la retrouve chez Canon, Sony, Nikon ou Panasonic, mais ils sont également allés encore plus loin. Par la petite taille des capteurs photo sur smartphone, la photo numérique s'est enrichie de nombreuses innovations technologiques pour compenser ce défaut inhérent même aux smartphones. On vous détaille tout ça dans notre dossier.
La photo numérique, comment ça marche ?
La photographie numérique reprend en grande partie les mêmes idées que la photographie argentique, du moins pour la capture de lumière et donc d'informations, et le réglage d'exposition.
Plus un appareil photo numérique va enregistrer de lumière, plus la photo va être exposée. A contrario, moins il capture de lumière, plus le cliché sera sombre. Jusque là, rien que du très logique, c'est le principe même du triangle d'exposition.
Pour gérer au mieux la lumière, les appareils photo numériques utilisent quatre paramètres distincts : la taille du capteur, l'ouverture focale, la vitesse d'obturation et la sensibilité ISO. En fonction du type de cliché qui sera réalisé, on va modifier plus ou moins tel ou tel paramètre afin d'adapter la photo que l'on souhaite prendre non seulement à la lumière ambiante, mais également à l'action à l'écran et au type de prise de vue (portrait, paysage, macro, etc.).
La taille du capteur
Le capteur photo d'un appareil ne se mesure pas en nombre de mégapixels, loin de là. L'une des données les plus importantes est en fait sa taille physique. Plus le capteur va être grand, plus la surface pouvant capturer la lumière sera importante.
En photo, les appareils avec les plus grands capteurs, dits full frame (24 x 36 mm), sont donc souvent les plus onéreux, mais on retrouve également des capteurs APS-C (16 x 24 mm), 4/3 (13 x 17,5 mm) ou de type 1" (8,8 x 13,2 mm).
L'ouverture focale
Il s'agit de l'ouverture du diaphragme, la membrane qui se rétracte ou s'ouvre à l'intérieur de l'objectif photo pour laisser passer de la lumière. L'ouverture se définit en f/x. Plus l'ouverture va être grande, plus le nombre derrière le f sera petit. Ainsi, f/16 est une très petite ouverture, tandis que f/1,4 sera une grande ouverture.
L'ouverture est particulièrement utile, en conjonction avec la taille du capteur, pour jouer sur le flou d'arrière-plan. Plus l'ouverture va être grande -- et donc plus la lumière va être enregistrée -- plus l'arrière-plan derrière le sujet photographié sera flou. C'est un paramètre qu'il peut être intéressant de mettre en avant sur des portraits par exemple, comme on peut le voir sur les photos ci-dessous, prises avec un Panasonic Lumix GX7. La première est prise avec une ouverture de f/16 et la seconde avec une ouverture de f/1,7 :
La vitesse d'obturation
Comme son nom l'indique, la vitesse d'obturation correspond au temps durant lequel le capteur va enregistrer l'image à capturer. Plus la vitesse sera élevée, moins le capteur pourra enregistrer de données et donc plus la photo sera sombre. Inversement, une vitesse lente permettra d'enregistrer l'image parfois pendant plusieurs secondes et donc capturer beaucoup plus de lumière.
La vitesse d'obturation peut jouer un rôle important pour le flou. En effet, si vous tenez votre appareil à la main, et que vous souhaitez capturer des sujets en mouvements, il vaudra mieux passer par une vitesse rapide, sans quoi le sujet pourra être flou, ayant bougé pendant la capture. De l'autre côté, si vous souhaitez capturer des traînées de lumière de phare sur un pont au-dessus d'une autoroute en pleine nuit, il vaudra mieux poser votre appareil sur un trépied et garder une vitesse lente.
La sensibilité ISO
La sensibilité vient des pellicules argentiques utilisées avant la photographie numérique. Grossièrement, il s'agit d'une saturation artificielle de la luminosité, permettant à votre appareil d'augmenter la luminosité sans toutefois avoir réellement capturé plus de lumière. Elle se mesure en ISO avec souvent les sensibilités les plus faibles à 50 ISO et les plus élevées à plus de 100 000 ISO.
Il s'agit souvent du dernier paramètre à modifier au moment de votre prise de vue, si les autres ne sont pas suffisants. En effet, en augmentant la sensibilité, le risque est d'enregistrer du bruit numérique, à savoir des points bleus, verts ou rouges dans un ciel censé être noir.
Les smartphones, plus limités par leur petit capteur
Maintenant que vous avez bien compris les principes de l'exposition sur les appareils photo, vous pouvez les oublier pour passer à la photo sur smartphone.
En effet, alors qu'on retrouve de grands capteurs sur les appareils photo, c'est loin d'être le cas sur smartphone. À titre d'exemple, le Xiaomi 12S Ultra n'intègre qu'un capteur principal d'un pouce. Et il s'agit là de l'un des capteurs d'appareil photo les plus larges du marché, également utilisé sur le Vivo X90 Pro+ ou le Sony Xperia Pro-I. La plupart des smartphones du marché, même sur le haut de gamme, proposent désormais des formats de 1/1,28" (iPhone 14 Pro), 1/1,33" (Samsung Galaxy S22 Ultra) ou 1/1,31" (Google Pixel 7). Bref, des capteurs plus petits que le format 1 pouce.
Avec des capteurs aussi petits, il est donc nécessairement plus compliqué d'enregistrer autant de lumière que sur un appareil photo hybride ou reflex. Si la sensibilité ou la vitesse d'obturation restent des critères cohérents sur smartphone -- que vous pouvez souvent modifier en mode photo pro ou manuel -- c'est beaucoup moins le cas de l'ouverture.
En effet, une ouverture focale différente aura d'autant plus d'incidence que le capteur aura un grand format. Sur un petit capteur, proposer une grande ouverture est en quelques sortes un minimum requis pour s'assurer que l'ensemble du capteur soit bien exposé. Plus le capteur va être grand, plus une modification de l'ouverture aura d'effets. Dès lors, indiquer des ouvertures de f/2,2, f/2,0, f/1,8, voire f/1,5, souvent sans même préciser la taille du capteur photo n'a que très peu d'intérêt. On a d'ailleurs pu le voir avec le test du Galaxy S9 en 2018, l'un des premiers smartphones à proposer une ouverture variable, le changement d'ouverture de f/2,4 à f/1,5 n'a finalement qu'une infime incidence sur l'exposition finale du cliché.
Signalons cependant que l'augmentation de la taille des capteurs ces dernières années, pour s'approcher du format un pouce, s'est accompagnée sur certains modèles d'une ouverture variable qui peut avoir un intérêt. C'est le cas notamment sur le Xperia Pro-I ou du Huawei Mate 50 Pro.
Comment les constructeurs pallient-ils ces défauts
Chez les constructeurs de smartphones, il a bien fallu faire avec cette contrainte des capteurs plus petits que ceux des appareils photo numériques. Surtout qu'une augmentation considérable de la taille des capteurs aurait des répercussions sur la taille des objectifs, des modules et des smartphones en général.
HTC a été l'un des premiers constructeurs à communiquer non pas sur le nombre de mégapixels de ses capteurs, mais sur la taille des photosites, c'est-à-dire de chaque cellule chargée de capturer un pixel. Avec le HTC One, en 2013, le constructeur taïwanais mettait en avant la taille de 2 microns de chaque photosite, plus grand et donc capable d'enregistrer davantage de lumière.
Les constructeurs de smartphones étant limités par les contraintes de taille de capteur, ils sont forcés d'être plus innovants. De bien des manières, la photo sur smartphone apporte aujourd'hui bien plus de technologies que la photo sur appareils numériques classiques.
Des modifications de capteurs pour enregistrer plus de lumière
Pour permettre à des capteurs de taille identique de capturer davantage de lumière, les constructeurs ont ajouté quelques fonctionnalités, ou quelques astuces sur les capteurs des appareils photo.
Les capteurs monochromes
La première d'entre elles est l'utilisation d'un capteur monochrome à niveau de gris, en plus de capteurs couleur RGB (rouge/vert/bleu). C'est une astuce qui a notamment été utilisée par Huawei sur les P9, Mate 9, P10 et Mate 10 Pro, mais également par Essential sur le PH-1 ou par HMD sur le Nokia 9 PureView.
L'intérêt de ces capteurs monochromes est qu'ils n'ont pas à se soucier des couleurs à enregistrer et donc qu'ils peuvent se concentrer uniquement sur la lumière et sur les détails. Chez Huawei, les capteurs monochromes étaient ainsi de plus grande définition que les capteurs couleur et permettaient par exemple de proposer un zoom hybride tout en gardant un excellent niveau de détail. De son côté, HMD Global explique qu'un capteur monochrome permet d'enregistrer trois fois plus de lumière qu'un capteur RGB, et que l'utilisation de 3 capteurs monochromes et 2 capteurs couleur sur le Nokia 9 PureView permet de capturer 10 fois plus de lumière qu'un seul capteur RGB.
Le capteur couleur RYB
Mais les capteurs monochromes ne sont pas leurs seules astuces utilisées par les constructeurs. Pour ses P30 et P30 Pro, Huawei a décidé d'utiliser un nouveau type de capteurs photo, baptisé SuperSpectrum, qui va enregistrer non pas les lumières rouges, vertes et bleues, mais les rouges, jaunes et bleues. On passe ainsi d'un capteur RGB à un capteur RYB.
À en croire les informations données par Huawei, ce choix de capteur permettrait ainsi d'enregistrer jusqu'à 40 % de lumière en plus que sur le capteur du P20 Pro. Les photosites jaunes sont donc capables d'enregistrer à la fois la lumière rouge, mais également la lumière verte. Pour distinguer ensuite la lumière jaune de la lumière verte, Huawei fait confiance à l'intelligence artificielle. On y reviendra.
Le pixel binning
Enfin, la principale technologie utilisée pour améliorer la luminosité des capteurs est celle du pixel binning. L'idée est en fait de proposer des capteurs avec un très grand nombre de mégapixels. Les constructeurs ont d'abord commencé avec des capteurs de 48 mégapixels, comme le capteur IMX586 de Sony que l'on retrouvait sur le Honor View 20 ou le Xiaomi Mi 9, puis sont passés à 50, 108 et désormais 200 mégapixels. C'est cette technologie que l'on retrouve désormais même sur les iPhone 14 Pro.
Cependant, en mode par défaut, les clichés qui ressortent du capteur sont quatre ou neuf moins larges, de seulement 12 ou 12,5 mégapixels.
Que s'est-il passé entre temps ? C'est très simple. En fait, les photosites du capteur, théoriquement chargés d'enregistrer chacun un pixel, ont été assemblés par quatre. En assemblant les quatre pixels enregistrés pour n'en faire qu'un seul, le smartphone va alors analyser quelle est la couleur moyenne enregistrée et effacer le bruit numérique. Un bon moyen non seulement d'enregistrer quatre fois plus de lumière pour un même pixel et d'annuler le bruit numérique qui peut résulter d'une haute montée en sensibilité ISO.
Le mode portrait et la gestion de la profondeur de champ
Du fait de la petite taille des capteurs photo des smartphones, et des variations négligeables de l'ouverture focale, la profondeur de champ est nécessairement élevée nativement sur smartphone. Concrètement cela veut dire que, sans traitement, il serait physiquement impossible de proposer de jolis flous d'arrière-plan pour les photos en mode portrait, permettant de détacher le visage de la personne photographiée comme c'est le cas sur reflex par exemple.
Heureusement, les traitements existent, grâce à trois possibilités.
Le mode portrait avec deux capteurs
Pour savoir où se situe le sujet à garder net et quelle zone flouter, encore faut-il connaître la profondeur de la scène. Celle-ci peut être calculée par le smartphone en utilisant un deuxième capteur. Ainsi, en analysant les clichés de deux appareils positionnés à deux endroits différents au dos, il sera possible pour le smartphone d'évaluer la différence entre les deux images et donc de reconstituer en partie la scène en 3D. L'appareil va alors être capable de comprendre quel est le sujet net, sur qui la mise au point a été faite, et quelles sont les zones floues.
Photos en mode portrait du Pixel 7
Par ailleurs les Pixel 7 et Pixel 7 Pro de Google, qui n'utilisent pas de capteurs de profondeur, arrivent au même résultat. Pour ce faire, la firme utilise une technologie qu'elle qualifie de « dual pixel ». Pour faire simple, chaque photosite du Pixel 7 est en fait découpé en deux photosites, un à gauche et un à droite. Cela permet au smartphone d'enregistrer deux images très légèrement décalées, d'analyser la profondeur de la scène grâce à la parallaxe, et de mettre en avant le sujet.
Le mode portrait avec un seul capteur
Une méthode, un peu moins fiable, pour proposer le mode portrait avec un seul capteur, est d'utiliser de simples algorithmes. C'est souvent le cas sur les appareils photo en façade, pour les selfies.
Les constructeurs qui proposent cette fonctionnalité ne se basent en fait que sur les données d'un seul capteur. Il revient donc au processeur et au rendu d'image d'analyser la photographie capturée pour mettre en avant le sujet et intégrer du flou tout autour. Forcément, en raison d'informations moindres, notamment sur la profondeur, le résultat est souvent moins précis et il arrive souvent que le détourage soit aléatoire, notamment au niveau des cheveux ou des lunettes. Par ailleurs, lorsqu'on souhaite utiliser le mode portrait -- ou ouverture -- sur des objets, certains smartphones peuvent l'empêcher, puisque ce mode ne fonctionne que sur des visages.
Le mode portrait avec un capteur ToF
Une autre innovation dans le monde de la photo sur smartphone est celle du capteur ToF, dit « time of flight ». Concrètement, il s'agit d'un capteur qui va analyser la vitesse à laquelle un signal lumineux émis va prendre pour être retranscrit dans l'appareil photo. En analysant les différentes mesures pour différents points, le capteur va permettre d'établir une cartographie 3D de la scène et donc d'analyser la profondeur avec précision.
Dès lors, l'appareil photo qui utilise un capteur ToF en supplément sera capable de proposer un mode portrait particulièrement précis, y compris pour les zones les plus complexes, comme c'est le cas sur le Huawei P30 Pro.
Le traitement d'image et le machine learning
On l'a déjà vu précédemment, mais depuis quelques années, beaucoup de constructeurs de smartphones n'ont qu'une expression à la bouche pour parler photo : intelligence artificielle.
Concrètement, il existe plusieurs formes d'IA. Il peut s'agir d'une simple reconnaissance de scène, qui va donc rendre le mode automatique encore plus automatique en ajustant les paramètres selon que vous preniez un portrait, une photo de nourriture ou de paysage. Chez Huawei et Honor, le mode IA permet ainsi d'augmenter par exemple le bleu du ciel lorsque vous prenez une photo de paysage afin de le faire encore plus sortir dans l'image, ou d'accentuer le vert de la végétation. Chez Samsung, c'est grâce à la reconnaissance de scène et donc au mode IA que l'on va pouvoir passer en mode nocturne automatiquement.
Notons cependant que certains constructeurs travaillent désormais à proposer un rendu plus naturel sur certains modes. C'est notamment le cas de Vivo, Xiaomi, Oppo et OnePlus qui se sont associés à Zeiss, Leica et Hasselblad pour proposer un rendu plus neutre.
Néanmoins, il peut arriver qu'il s'agisse d'une intelligence artificielle encore plus poussée, avec du machine learning. C'est le cas par exemple sur le Pixel 7 Pro de Google. Les serveurs de Google hébergent en effet des milliards d'images et le Pixel 7 Pro est capable grâce à ces images de reconstituer en partie ce qu'on peut attendre d'une photo. C'est ainsi que le Super Res Zoom du Pixel 7 Pro est capable d'augmenter artificiellement le niveau de détails d'un cliché tout en conservant un aspect naturel, puisqu'il s'est basé pour ce faire sur des millions d'images du même type.
Plusieurs clichés pour une meilleure plage dynamique
En photographie, la plage dynamique est la différence entre les zones les plus lumineuses d'une image et les zones les plus sombres. Sur un appareil doté d'une faible plage dynamique, il sera impossible d'avoir à la fois le ciel bleu et les couleurs des bâtiments éclairées correctement en même temps : ou le ciel sera tout blanc, comme brûlé par la lumière, ou les bâtiments seront noirs, noyés par les zones d'ombre.
La plage dynamique est intrinsèquement liée à la taille du capteur et de ses photosites. Plus le capteur sera petit, plus la plage dynamique sera réduite. Heureusement, pour augmenter cette plage dynamique, les constructeurs ont intégré des modes HDR (high dynamic range, ou haute plage dynamique) sur leurs appareils photo.
Il s'agit d'une technique issue directement de la photographie numérique. Concrètement, il suffit de prendre plusieurs clichés à plusieurs expositions différentes, puis de les assembler dans un logiciel de retouche d'image afin de s'assurer que toutes les zones de la photo seront exposées correctement. Dans l'exemple de notre photo de paysage par exemple, le ciel sera bleu sur la photo la moins exposée et le bâtiment sera bien éclairé dans la photo la plus exposée. En combinant les deux photos, on obtient la photo parfaite.
Sur smartphone, le HDR est d'autant plus intéressant qu'il est intégré de base sur les smartphones. Pas besoin de passer par un logiciel de retouche de photo, le rendu est calculé nativement par le processeur du smartphone.
Généralement, les smartphones vont prendre plusieurs clichés à la suite, chacun avec une exposition différente.
Le mode nuit, un mode HDR+++++++++
Depuis quelques années, les constructeurs ont commencé à intégrer un mode nuit à l'application photo des smartphones. On le retrouve désormais chez l'écrasante majorité des modèles du marché, parfois géré automatiquement par l'IA.
Concrètement, plusieurs technologies peuvent être utilisées pour ce mode cliché nocturne. Chez Samsung par exemple, pour le mode « Super Low Light » du Galaxy S9, le smartphone allait simplement monter en sensibilité ISO et capturer 12 images différentes. Le smartphone se chargeait alors de les comparer pour déceler les endroits où le bruit numérique pouvait apparaître. Il lui suffisait alors de supprimer les artefacts qui n'apparaissaient que sur un cliché et non les 11 autres, puis de combiner l'ensemble pour produire une photo en basse lumière.
Chez Huawei, le mode nuit s'apparente davantage à un mode HDR boosté. Le smartphone va ouvrir l'obturateur pendant plusieurs secondes pour capturer un maximum de lumière et donc d'informations. Grâce à la stabilisation logicielle, le smartphone est ensuite capable d'analyser le mouvement de votre main et donc d'annuler le flou lors du traitement d'image. Il n'est ainsi pas nécessaire d'utiliser un trépied ou de poser le smartphone comme c'est le cas chez OnePlus par exemple. Il en va de même pour les sujets en mouvement, le smartphone parvenant à conserver uniquement la première image fixe des personnes.
https://twitter.com/UlrichRozier/status/1105811373118808064
Enfin, du côté des smartphones Pixel de Google, là aussi le mode Night Sight. est similaire à un mode HDR. Il s'agit en effet de capturer plusieurs images à différentes expositions en fonction du mouvement et de la luminosité de la scène, puis de les combiner non seulement pour annuler le bruit numérique, mais également pour supprimer le flou du cliché final. Enfin, à l'aide du machine learning, le smartphone va être capable de faire automatiquement la balance des blancs en se référant à des images du même type.
Le zoom avec des objectifs à focale fixe
Depuis cinq ans, les constructeurs multiplient les capteurs au dos des smartphones, mais également les optiques. Si on a vu que cette multiplication des appareils photo pouvait servir à capturer davantage de lumière grâce aux capteurs monochromes, ou à proposer un mode portrait, l'un des usages les plus récents est l'intégration de zooms optiques.
Les constructeurs peuvent en effet proposer des zooms qualifiés de x2, x3, x5 ou même x10 comme c'est le cas sur le Huawei P30 Pro. Attention néanmoins : en l'état ce chiffre ne signifie pas grand-chose.
Un zoom se définit en fonction de la différence entre la plus courte distance focale et la plus longue. Concrètement, plus la distance focale va être courte, plus l'angle de vision sera grand. Inversement, une longue distance focale permettra d'avoir un champ de vision plus faible et donc de voir plus loin.
Aujourd'hui, la grande majorité -- sinon l'intégralité -- des smartphones du marché proposent un appareil photo principal doté d'un objectif grand-angle, équivalent 24 à 28 mm. Ce grand-angle est qualifié comme tel parce qu'il propose une distance focale plus courte que le 50 mm, la distance focale définie comme standard. Attention : le grand-angle ne doit pas être confondu avec l'ultra grand-angle dont on parle un peu plus bas.
En plus de cet objectif grand-angle, on va voir apparaître des optiques qualifiées de « zoom » x2, x3 ou x5. Il s'agit souvent d'un zoom en fonction de la distance focale de l'objectif principal. Ainsi, sur le Samsung Galaxy S22, le zoom optique x3 est en fait une optique avec une distance focale équivalent 70 mm.
Il en va de même pour les objectifs ultra grand-angle que l'on retrouve au dos des smartphones. Il s'agit comme leur nom l'indique d'optiques avec un angle encore plus grand -- et donc une distance focale plus courte -- que sur les appareils photo principaux. Ainsi, l'ultra grand-angle du Galaxy S22 permet de descendre jusqu'à une distance focale équivalent à 13 mm, avec un champ de vision de 120°.
Dans l'ensemble, à de très rares exceptions -- comme le Samsung Galaxy S4 Zoom ou le récent Sony Xperia 1 IV -- il n'existe pas de véritable zoom optique progressif sur smartphone. Le niveau de zoom optique se fait par palier, lorsqu'on passe d'une optique à l'autre. Pour tout le reste, il s'agit d'un zoom hybride. Entre le grand-angle et le téléobjectif, les clichés seront par exemple calculés par le smartphone pour définir la netteté en utilisant les données issues des deux capteurs.
https://www.frandroid.com/guide-dachat/smartphones/367607_meilleurs-smartphones-prendre-photos