Oldies but goodies*. Nous sommes tous nostalgiques de jeux qui nous ont marqués il y a quelques années. Et certains aimeraient y rejouer, mais avec des graphismes plus détaillés. D’où l’apparition de mods. Mais cela reste plus ou moins de l’artisanat. Avec l’IA et la puissance du cloud, les lifting franchiraient une nouvelle étape. À la clé, des images plus détaillées et une rétrocompatibilité optimisée.
L’opinion sur les graphismes est toujours subjective. Certains trouvent que l’aspect désuet de nos vieux jeux fait tout leur charme. D’autres trouvent tout simplement que « c’est moche ». Rides ou pas de rides, telle est la question !
Il existe différentes techniques d’upscaling (mise à l’échelle vers une résolution plus haute).
Pour faire revivre de vieux titres avec une esthétique améliorée, il y a tout d’abord le modding de textures. On ne touche pas au code du jeu en lui-même, uniquement aux images qui constituent les textures. Le résultat peut être intéressant (plus de piqué, de netteté, de détails…) comme le montre la vidéo de Final Fantasy 7. Autre travail intéressant et même bluffant : celui fait sur Resident Evil 4.
Ce processus de modding ressemble à la restauration de vieux meubles ou d’œuvres d’art. Il s’agit d’un travail « d’artisans » qualifiés et/ou très motivés, qui requiert de la patience et des connaissances. Tous les jeux ne sont pas adaptés à la mise à l’échelle, et tous les algorithmes de mise à l’échelle ne produisent pas des résultats similaires.
Ensuite, il existe le SRGAN (Super-Resolution Generative Adversarial Network) qui est capable de générer des textures réalistes. Cependant, les détails sont souvent accompagnés d’artefacts désagréables.
D’ù l’idée de « l’IA upscaling » avec l’ESRGAN (Enhanced Super-Resolution. Generative Adversarial Networks). Schématiquement, cette technique consiste à alimenter un algorithme avec une image basse résolution et, sur la base des données d’entraînement qu’il a vues, il en sort une version qui a la même apparence, mais qui contient plus de pixels.
Un moder, du nom de BearborgOne, a réussi à moderniser les textures de Metroid Prime 2, lancé sur GameCube, pour qu’il soit animé sur PC en 4K à 60 images par seconde. Sur ce site, on peut aussi juger de l’intérêt de l’ESRGAN.
Cette mise à l’échelle, en tant que technique générale, n’est en elle-même pas récente. Mais l’utilisation de l’IA a considérablement amélioré la vitesse et la qualité des résultats. On passe de quelques années pour un travail d’équipe à quelques semaines par un seul moddeur.
Mais certains restent sur leur faim et précisent aussi que cette méthode est gourmande et exige un GPU récent. Microsoft a peut-être trouvé une alternative plus efficace.
Le futur du passé
Doom, Half-Life 2, Metroid Prime 2, Final Fantasy VII… de nombreux titres ont bénéficié de l’IA upscaling.
Une équipe des Xbox Game Studios expérimente actuellement une nouvelle technologie qui permettrait d’augmenter la taille des textures à basse résolution grâce à l’intelligence artificielle et à l’apprentissage automatique ou Machine learning-ML).
L’utilisation de l’IA pour améliorer les images est une tâche relativement simple, mais elle illustre parfaitement l’avantage essentiel de l’apprentissage machine. Alors que les algorithmes traditionnels reposent sur des règles définies par l’homme, les techniques d’apprentissage machine créent leurs propres règles en apprenant à partir de données.
Cette solution s’appuierait aussi sur la puissance de calcul et la disponibilité des serveurs Azure, un ensemble de services regroupés dans la plateforme cloud de Microsoft. Or, Azure a intégré le Project Brainwave, un système de Deep Learning conçu pour l’IA en temps réel…
Microsoft profiterait aussi des compétences de Playfab, une société qu’il a achetée début 2018 et qui a travaillé à la création d’outils pour la prise en charge des jeux dans le cloud.
À propos du nouveau projet, le fondateur de Playfab, James Gwertzman, parle d’une « technologie de compression magique ». En un mot, on pourrait télécharger plus rapidement des jeux moins lourds en données tout en maintenant un réalisme jugé semblable aux textures HD (grâce à des modèles ML).
Mais le développement d’une solution de « décompression » automatiquement grâce à l’intelligence artificielle et à l’apprentissage machine nécessite l’étude d’algorithmes très complexes.
Pour l’instant, Playfab indique que ce procédé fonctionne très bien avec des décors photoréalistes parce qu’ils sont plus facilement interprétés par la technologie. Mais l’équipe reconnait aussi que c’est plus délicat et complexe avec des styles graphiques plus abstraits ou artistiques parce qu’ils suivent des modèles différents et moins prévisibles.
Reste à voir si cette piste sera retenue et exploitée correctement. Car ce n’est pas la première fois que l’on parle d’une technique censée faire des miracles. Qui se souvient de l’upscaling 3D ? C’était en 2010. Pour nous vendre leurs téléviseurs « 3D Ready » des marques mettaient en avant un procédé « révolutionnaire ».
Plus besoin d’une paire de lunettes spéciale. Il suffisait d’appuyer sur un bouton et en quelques secondes des images prenaient du relief. Samsung et Sony s’appuyaient sur un algorithme qui analysait les ombres, la netteté et les mouvements pour tenter de reconstituer un 2e point de vue. On connait la suite…
*Vieux mais bons
