DLSS, FSR, NIS : ces techniques d’échantillonnage, qui améliorent la fluidité sans (trop) nuire à la qualité visuelle, sont le nouveau champ de bataille de nVidia et d’AMD. Explications.
Qualité d’image ou fluidité ? Voilà le dilemme perpétuel auquel sont confrontés tous les joueurs. La 4K illuminée par le Ray-Tracing, c’est bien beau, mais la carte graphique hoquette parfois dangereusement. Et un joueur PC ne transige pas avec la fluidité.
Avec l’upscaling, ou mise à l’échelle par échantillonnage, les concepteurs de GPU ont peut-être trouvé le moyen de concilier ces deux notions contradictoires, au moins dans une certaine mesure.
Dans le monde de la 3D et de l’image en général, le principe est ancien et revient généralement à de l’interpolation de pixels. Il s’applique par exemple à diverses techniques d’anti-aliasing, qui lissent les effets d’escalier et suppriment les scintillements.
L’Intelligence Artificielle en renfort
En la matière toutefois, nVidia a franchi un véritable cap, fin 2018, avec l’arrivée du DLSS (deep learning super sampling), accompagnant les cartes de la génération RTX.
Schématiquement, ce super échantillonnage par apprentissage approfondi consiste à exécuter les calculs sur une image 3D de définition inférieure à la définition «cible» souhaitée – typiquement la définition de l’écran. Le passage d’une définition à l’autre se fait ensuite par mise à l’échelle et échantillonnage.
La première étape permet de maintenir une excellente fluidité, les calculs étant effectués sur une image 1440p/1080p – voire moins – qui peut être agrémentée de tous les effets visuels possibles (dont le Ray-Tracing). L’étape suivante sert à reconstruire cette image avec une meilleure définition (jusqu’à la 4K) en minimisant les compromis sur la qualité visuelle, parfois même en améliorant la netteté.
Là où nVidia s’est démarqué, c’est dans le processus d’échantillonnage, qui fait appel à l’IA, plus précisément au deep learning. Les réseaux de neurones, mis au point par nVidia, sont exécutés sur des super-calculateurs et s’entraînent, à partir d’images 16K, à maximiser la qualité d’image en supprimant les artefacts.
Ce procédé s’appuie sur une méthode temporelle car les algorithmes tiennent compte de l’image en cours et de deux images précédentes en plus basse définition, avant d’appliquer différents effets de post-processing.
Ces milliers et milliers d’itérations aboutissent à un modèle optimisé de reconstruction d’image par IA, aujourd’hui implanté dans quelque 130 jeux. Par ailleurs, le DLSS a été intégré aux moteurs 3D Unity et Unreal Engine, ce qui facilite la tâche des développeurs.
4K… ou presque, et beaucoup plus fluide
Si la première version du DLSS n’a pas convaincu, la deuxième, lancée en 2020, a prouvé que la méthode pouvait donner de très bons résultats. A l’œuvre au moment de sa sortie sur des jeux aussi gourmands que Control ou Read Dead Redemption, le DLSS 2.0 produit une image 4K «artificielle» presque aussi détaillée qu’une image 4K native. Sauf que le nombre d’images/seconde progresse parfois de plus de 50 % !
En plus, le temps joue pour nVidia car une IA ne cesse de se perfectionner au fil des «leçons» qu’elle apprend. Toutefois, le DLSS n’est disponible que sur les cartes graphiques nVidia de la gamme RTX, car des coeurs «Tensor» sont requis pour son exécution. Son champ d’utilisation est donc restreint.
Une faille dans laquelle s’est engouffré le rival AMD, avec le FidelityFX Super Resolution (FSR), qui a fait ses grands débuts cette année. Environ 60 jeux sont compatibles fin 2021.
L’upscaling spatial d’AMD
Le FSR a en effet le gros avantage de fonctionner sur les GPU de marque AMD et aussi nVidia, et pas seulement sur les modèles haut de gamme RTX. Il propose quatre modes (Ultra Qualité, Qualité, Equilibré, Performance), du plus au moins qualitatif au regard de la qualité de l’image.
Si, dans le fond la finalité est identique à celle du DLSS, le FSR est moins ambitieux donc plus facile à intégrer que le DLSS. C’est un traitement uniquement spatial, réalisé image par image et s’appuyant sur la technique d’échantillonnage de Lanczoz. Il n’y a pas d’analyse temporelle comme le fait le DLSS.
Dans le pipeline graphique, le FSR vient à la suite de l’anti-aliasing, alors que le DLSS met en œuvre son propre anti-aliasing. Dès lors, si l’anti-aliasing n’est pas bien réalisé, les mêmes artefacts demeurent visibles.
AMD a conçu le FSR pour que ces dernières cartes graphiques puissent rivaliser avec les cartes RTX3000 de nVidia, qui continuent de dominer les benchmarks quand le Ray-Tracing est activé.
Dans les faits, le FSR permet d’augmenter significativement le nombre d’images/seconde, parfois de l’ordre de 50%, même si ce gain dépend des jeux. Dans le meilleur des cas, on peut donc obtenir une image 4K avec du Ray-Tracing au-delà de 60 images/seconde, ce qui était clairement l’objectif visé.
Quid de la qualité de l’image finale ? D’après les tests, elle est bonne à condition que la définition sur laquelle travaille la carte graphique soit proche de la définition finale. Exemple : de 2954×1662 pixels vers l’ultra haute définition.
Quand cet écart augmente, la qualité d’image tend à se dégrader et des éléments flous font leur apparition. La technologie de nVidia, elle, parvient à créer ces informations manquantes pour garantir un certain niveau de qualité et de netteté. Si le FSR est donc plus universel et plus simple à mettre en œuvre que le DLSS, il ne faut donc pas s’attendre à ce qu’il soit aussi performant.
NIS, ou la réaction de nVidia
De plus, la plus récente version du DLSS (2.3) promet de réduire les scintillements ou même les traînées fantômes d’objets en mouvement. Mieux encore, nVidia organise la contre-attaque avec le lancement de nVidia Image Scaling (NIS), une méthode d’upscaling spatial à l’instar du FSR.
Le NIS a deux intérêts : il fonctionne sur des cartes nVidia non-RTX et peut être intégré directement dans les jeux, nVidia ayant mis un SDK (software development kit, en français ensemble d’outils de développement logiciel) à disposition des développeurs. Ce qui signifie, in fine, que NIS pourra aussi être pris en charge par des GPU AMD.
Bien sûr, il ne faut pas se bercer d’illusion : le NIS est inférieur au DLSS mais peut concurrencer le FSR, avec un potentiel de démocratisation équivalent. Il faut noter qu’Intel va aussi participer à la fête avec sa technologie d’upscaling XeSS, fondée sur l’IA et dédiée aux prochains GPU ARC Alchemist.
Compromis acceptable ou pas ?
En conclusion, si l’on s’en tient à une étude comparative, le DLSS n’a pas d’équivalent pour le moment. Quand on l’active, le jeu en vaut la chandelle si l’on peut dire, car la perte de qualité est très minime face au gain de fluidité.
L’IA apparaît comme une solution d’avenir, tant elle se répand partout, ne cessant d’accroître ses capacités. On est curieux de voir ce que donnera XeSS, car Intel ne manque pas non plus de ressources de calcul.
Le FSR et le NIS, moins innovants, n’ont pas les mêmes prétentions. Mais il peut être intéressant de les activer pour dépasser la barre salvatrice des 60 i/s, quand on n’est pas trop regardant sur la qualité d’image (d’autant plus qu’il faut souvent écarquiller les yeux pour percevoir les défauts). Les possesseurs d’écrans 1440p voire 4K peuvent en tout cas se poser la question, en fonction des jeux et en attendant de faire l’acquisition d’une carte plus puissante. Ce qui n’est pas chose facile en ces temps de pénurie…
Enfin, le FSR, qui a pour lui la simplicité, pourra aussi profiter aux consoles de nouvelle génération, embarquant des GPU AMD. Seulement voilà, les studios internes de Playstation et Xbox préfèrent souvent miser sur leurs propres technologies, qu’ils maîtrisent sur le bout des doigts.
