Le photographe, le classement DXO et le viol de la science

Les photographes ne sont pas des ingénieurs. Nous l’allons montrer tout à l’heure…

Les laboratoires DXO sont un éditeur de logiciels de retouche photo fondés en 2006 près de Paris. Leurs logiciels se spécialisent dans ce qu’on pourrait appeler la retouche corrective d’image, visant à corriger les défauts optiques des appareils photos et objectifs (déformation, perte de netteté, bruit numérique, aberrations chromatiques, etc.). Pour ce faire, ils doivent probablement tester chaque couple boîtier/objectif afin d’en extraire un profil (une sorte de cartographie détaillée des défauts optiques) qu’ils incluent ensuite dans leurs logiciels. En 2008, ils ont commencé à publier sur le site DXOmark.com les résultats de leurs mesures, sous forme d’un classement basé sur des notes « compréhensibles » qui synthétisent leurs profils en 3 paramètres plus une note globale.

Ce classement fait aujourd’hui figure de référence puisqu’il permet de comparer les appareils photos entre eux car les mesures sont répétées de la même manière pour chaque modèle. On est donc bien loin de la subjectivité des tests d’experts, sur le terrain, même si le classement s’opère sur quelques variables techniques et ne suffit pas à préjuger de la valeur absolue d’un appareil photo. Par exemple, l’autofocus n’est pas testé, et les capteurs X-trans de Fuji (dont la structure diffère de la classique matrice de Bayer) ne peuvent être évalués selon leur protocole. Le classement DXO a donc ses limites et sa logique interne, qu’il faut comprendre avant d’utiliser les notes DXO comme des vérités absolues. Tout est expliqué ici, une page que personne n’a pris le temps de lire… Le défaut de tout non-scientifique, et même de certains « scientifiques», est qu’ils s’inclinent devant la scientificité du chiffre, sans chercher à comprendre comment il a été obtenu. Erreur…

La semaine dernière, Brian Smith, prix Pulitzer 1985, publiait sur son blog un article qui vise à comparer la netteté des objectifs Canon, Nikon et Sony, donnant Sony grand gagnant (sa propre marque), et faisant un usage intensif des scores DXO. Article sur lequel je me suis fendu d’un commentaire outré, non approuvé par l’auteur, car il torture les notes DXO pour leur faire dire n’importe quoi… Ceci n’est qu’un énième viol de la technique perpétré par un photographe qui se pique de science, mais ce qui est « grave » ici, c’est que le monsieur sera écouté, du haut des sa glorieuse carrière photographique et de tous ses prix. Pourquoi ai-je pris la mouche ?

Premièrement, il classe les objectifs par ordre de note globale DXO, alors que son article tente d’adresser le problème de la netteté. Or cette note globale tient compte aussi de la perte de luminosité dans l’objectif et de la taille des franges provoquées par les aberrations chromatiques. Donc en gros, ce qu’il compare ici n’est pas la netteté mais la performance générale de l’optique.

Deuxièmement, et c’est plus grave, il n’a rien compris quant à la façon dont la netteté est quantifiée par DXO (pourtant c’est expliqué en Anglais sur leur site). En effet, DXO mesure la Fonction de Transfert de Modulation, autrement dit la réponse en amplitude du système d’imagerie recevant un signal optique discret. Vous n’avez rien compris ? C’est pour cela que DXO exprime ce résultat d’une autre manière : avec un nombre en méga-pixels perceptuels.

Pour comprendre, prenons une image supposée parfaitement nette de 640×428 pixels (scène réelle). Nous formons une image de cette scène sur un capteur de 640×428 pixels. Théoriquement, on aurait une correspondance exacte de pixel à pixel. Mais en pratique, l’objectif disperse la lumière et chaque pixel source est capté par plus d’un pixel du capteur : on observe un flou, modélisé ici pour illustration par un flou gaussien de rayon 2 pixels.

Que se passe-t-il sur le capteur ?

Chaque pixel source devrait correspondre à un seul pixel sur le capteur, mais la dispersion dilate le pixel source sur 5 pixels du capteur (le pixel central et ses 4 voisins en croix) et forme une tâche qui bave sur les pixels voisins. La seule valeur de couleur cohérente avec la réalité se trouve sur le pixel central, ce que captent les pixels situés sur la croix autour n’est que le résidu du pixel central : ces pixels ne servent donc à rien, ce qu’ils captent est l’erreur provoquée par la lentille. En pratique, on a donc 4 pixels incohérents sur le capteur pour chaque pixel source, donc on perd 3/4 de la résolution du capteur. Notre image finale a une résolution optique effective équivalent à 160×107 pixels.

C’est cette résolution perceptuelle que quantifie le score DXO pour la netteté (tout est expliqué sur leur site). Mais là vous sentez surgir un problème de taille : la résolution perceptuelle finale dépend :

  • du diamètre de la tâche formée par le pixel source sur le capteur,
  • de la résolution de base du capteur.

Par exemple, l’objectif Canon 50 mm F/1.8 monté sur un Canon 5D Mk II de 22 Mpix affiche une résolution perceptuelle de 14 P-Mpix, soit une perte de 37 % environ. Le même objectif monté sur le Canon 5DS R de 50 Mpix affiche une résolution perceptuelle de 29 P-Mpix, soit une perte de 42 % de sa résolution. Plus on monte en résolution capteur, plus on sauve les meubles de façon absolue, mais le pourcentage de perte de résolution augmente.

Si l’on veut comparer les objectifs, il faut donc les tester sur le même appareil ou au minimum à la même résolution. Or notre bon ami Brian Smith compare des objectifs testés sur :

  • Sony sur Sony a7RII de 42 Mpix sans filtre passe-bas,
  • Canon sur Canon 5DS R de 50 Mpix avec un filtre passe-bas,
  • Nikon sur Nikon D800E de 36 Mpix sans filtre passe-bas.

Fatalement, en valeur absolue, Sony et Canon écrasent presque systématiquement Nikon puisque leur résolution de base est supérieure. Mais convertissez les résultats en % de perte de résolution et vous chamboulez systématiquement les classements. Par exemple, à 50 mm F/1.4, Smith donne le classement suivant :

  1. Sony FE 50mm f/1.4 ZA : 41 P-Mpix => 2 % de perte de résolution
  2. Nikon AF-S NIKKOR 50mm f/1.4G : 21 P-Mpix => 42 % de perte
  3. Canon EF 50mm f/1.2L USM : 21 P-Mpix => 58 % de perte
  4. Canon EF 50mm f/1.4 USM : 22 P-Mpix => 56 % de perte
  5. Nikon AF-S Nikkor 58mm f/1.4G : 25 P-Mpix => 31 % de perte

Du coup le classement n’est plus du tout le même et devient : 1, 5, 2, 4, 3. On montre ici que la résolution démesurée du Canon est largement surfaite, car l’objectif avale plus de la moitié de la résolution à la focale standard, et que, oui, Sony est excellent, mais pas pour les raisons invoquées.

Et ça ne s’arrête pas là ! En effet, la netteté est mesurée par DXO à différents endroits de l’image (centre et bords), à différentes ouvertures. On sait qu’en général, une optique est plus nette au centre et ouverte autour de F/5.6. DXO retient donc l’ouverture où la netteté est maximale, puis la pondère avec la netteté sur les bords et aux autres ouvertures (sans donner ses coefficients de pondération). Concrètement, pour le classement ci-dessus, on obtient les meilleurs scores aux ouvertures suivantes :

  • Sony FE 50mm f/1.4 ZA : f/2
  • Nikon AF-S NIKKOR 50mm f/1.4G : f/1.4
  • Canon EF 50mm f/1.2L USM : f/1.2
  • Canon EF 50mm f/1.4 USM : f/1.4
  • Nikon AF-S Nikkor 58mm f/1.4G : f/1.4

Donc lorsque toutes les optiques obtiennent leur meilleurs scores à leur ouverture maximale (qui est en général un des critère de choix pour l’achat), Sony arrache des performances titanesques seulement 1 stop au dessus, à f/2. Est-ce qu’on vient de trouver le secret de leurs performances incroyables ?

Alors voilà, plus on rentre dans le détail des données que l’on analyse, plus on devient perplexe sur ce qu’on essaie de comparer. Les mesures de netteté ne sont pas réalisées à la même ouverture, ni sur le même appareil, ni à la même résolution capteur. En fait, ce que l’on compare, c’est la performance du système optique au complet. Mais là encore, à nuancer… Les objectifs Sony haut de gamme sont fabriqués sous licence par Karl Zeiss, qui fournit aussi des objectifs tierce-partie pour Nikon et Canon. Et peu importe le boîtier derrière, Nikon, Sony ou Canon, les objectifs Zeiss et Sigma Art écrasent toute concurrence de la part de Nikon ou Canon. Ceci permet d’ailleurs de comparer plusieurs boîtiers avec le même objectif Zeiss décliné dans différentes montures, et d’observer que c’est apparemment le capteur (et l’électronique derrière) qui limite la performance de ces optiques exceptionnelles. En effet, avec le même objectif Carl Zeiss Apo Planar T* Otus 85mm, les pertes de résolution sont :

  • Nikon D800E/D810 : 3% (35 P-Mpix)
  • Nikon D750 : 0 % (24 P-Mpix)
  • Nikon D5 : 0 % (20 P-Mpix)
  • Canon 5DS R : 18 % (41 P-Mpix)
  • Canon 5D Mk IV : 13 % (26 P-Mipx)
  • Canon 1Dx : 9 % (17 P-Mpix)

On voit donc que Nikon affiche une perte de résolution proche de 0 %, alors que Canon n’arrive pas à se défaire d’une perte de 9 % minimum, dûe notamment à la présence de filtre passe-bas sur ses capteurs, et ce même sur le 1 Dx dont la résolution n’est que de 18 Mpix. Si des capteurs différents donnent des résultats différents avec la même optique, on se demande ce qu’on peut comparer en faisant varier et le capteur, et l’optique.

On peut accorder un léger avantage de design aux boîtiers sans miroir de Sony : l’objectif est rapproché du capteur, comparé aux réflexs, donc le trajet de la lumière est raccouri ce qui pourrait induire un peu moins de dispersion de la lumière. Pour tout le reste, les limites des tests et leurs approximations permettront encore longtemps aux fanboys d’alimenter leurs querelles de clocher. Et puis, bien sûr, la qualité d’une optique ne se limite pas à sa netteté, et à une époque ou les meilleurs écrans ne dépassent pas 4 Mpix (norme 4K), il faut rester réaliste.

Bien au delà de la photographie, on illustre ici une tendance générale (répandue aussi chez les fact-checkers) qui consiste à utiliser des données techniques pour appuyer son propos mais sans comprendre ni les tenants ni les aboutissants de ces data qu’on manipule. La première erreur est d’afficher les valeurs de netteté sans leur unité (P-Mpix), alors que cette unité donne un sens sans équivoque aux grandeurs affichées (ce n’est pas un indice arbitraire). Ensuite, en se cachant derrière le chiffre (qu’on pense à tort objectif et « vrai »), on invoque une scientificité de façade qui dissimule le fait que ce chiffre est le résultat d’un calcul sur des valeurs mesurées. Or le protocole expérimental, l’outil de mesure, les hypothèses et les simplifications effectuées lors du calcul, sont subjectives et influent directement le résultat annoncé, qui ne peut pas être traité comme une donnée absolue et reste parfaitement discutable. La statistique ne se limite pas à des comparaisons de nombres, des calculs de maxima et de moyenne, elle s’intéresse aussi à évaluer la validité des données qu’elle manipule. Les nombres ont un sens, et c’est leur méthode d’acquisition qui le détermine. En se contentant du résultat, on fait effectivement dire aux chiffres ce qu’on veut. Et on torture la science.

Contribuez au site

135€ collectés sur 11 000€

Ce site demande environ 250 h/an, coûte plus de 5500 €/an et sert près de 700 000 pages et plus de 230 Teraoctets à plus de 68 000 visiteurs uniques chaque année depuis 2014. Une partie du code source du site est développée en interne spécialement pour servir son contenu, et chaque article est le résultat d'un travail original de recherche et d'analyse, prenant de 4 à 15 h, sans compter les mises à jour ultérieures. Faites une différence, contribuez à la rédaction de mon prochain article :

[Note : des frais de transaction de 5 % + 0,10 € sont déduits par Paypal du montant de votre don. Pour 1 € donné, je reçois maximum 0,85 €.]

Informations personnelles

Total du don : 3.20€

2017-09-09T19:22:38+02:0010 août 2017|Catégories : Réflexions|Mots-clés : , , , |0 commentaire

À propos de l'auteur :

Développeur d'outils logiciels de traitement d'image pour darktable. Spécialiste calcul et modélisation thermodynamique chez Cellier Domesticus. Photographe. Pianiste. Développeur spécialisé en Python pour le calcul et la modélisation. Auteur de bouquins et de blog sur les sciences et la technologie. Expériences précédentes dans la fonction publique territoriale, les moteurs électriques industriels, les voitures solaires en fibre de carbone et le non-sens académique (maths sup, DUT).

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

X

Oublié votre mot de passe ?

Rejoignez-nous

Réinitialiser le mot de passe
Veuillez entrer votre email. Vous allez recevoir votre nouveau mot de passe par email.

Phasellus adipiscing tempus felis fringilla nec mattis in