Expressions faciales, pulsations cardiaques, actions… Dans ce laboratoire ouvert au public, l’attitude du joueur est scrutée. Les données récoltées serviront à l’industrie du jeu vidéo, à la science et aussi au joueur lui-même, pour qu’il s’améliore.
Dans le e-Lab, situé dans la Cité des sciences et de l’industrie à Paris, le joueur s’amuse autant qu’il contribue à faire avancer la science. Dans cet espace de 250 m2 ouvert au public depuis octobre 2017, des capteurs et des caméras enregistrent en effet chaque regard parcourant l’écran, chaque action réalisée sur la manette… Même les pulsations cardiaques sont passées au crible ! Enjeu : analyser le comportement des joueurs et établir une base de données au service de l’industrie du jeu vidéo et de la recherche fondamentale.
A chaque stand est associé un genre. L’aventure vue à la troisième personne, la simulation de conduite et le combat d’arcade en un contre un sont représentés respectivement par Rime, Project Cars 2 et Street Fighter V. A côté, des jeux de réflexion, de plateau ou encore de gestion sont à disposition sur des tablettes.
Une sélection de jeux évolutive
«Dans la version finale du e-Lab, prévue l’an prochain, nous envisageons des jeux de tir (FPS) et de stratégie, explique Hamid Bessaa, chercheur en psychologie cognitive au laboratoire Lutin (Laboratoire des usages en technologies d’information numériques) et intervenant scientifique au e-Lab. Chaque année, la sélection évoluera, en fonction de la popularité des jeux auprès du public et de leur intérêt pour la recherche.»
Face à cet écran géant, le joueur s’immerge dans l’histoire racontée par Rime.
Les installations en place ont quoi de faire pâlir le plus «hardcore» des gamers. L’image de Rime, produite par deux vidéoprojecteurs, se déploie sur un écran géant. A quelques mètres de là, Project Cars 2 bénéficie également d’un affichage réparti sur trois grands écrans LCD, procurant une vision panoramique de l’action. S’ajoutent un siège baquet vibrant et un volant avec retour de forces, qui renforcent les sensations.
D’autres accessoires ne se remarquent pas du premier coup d’oeil mais ont également leur importance pour renforcer l’immersion : spots lumineux, ventilateur soufflant de l’air au visage pour simuler l’effet de vitesse, et même un diffuseur d’odeurs ! «Le but est de proposer une expérience augmentée» confie Hamid Bessaa. Tout est fait pour stimuler les sens, donc.
Cette petite boîte jaune contient plusieurs capteurs et caméras qui détectent l’orientation du regard du joueur, ses expressions faciales et même son rythme cardiaque.
Dans le même temps, les moindres faits et gestes sont observés par une batterie de capteurs, que Hamid Bessaa passe en revue : «Le eye-tracker suit les mouvements du regard, la caméra filme les expressions faciales, qui sont ensuite interprétées : joie, déception, surprise… Une autre caméra RealSense d’Intel mesure les pulsations cardiaques. Le key-logger enregistre les actions et pilote les effets sonores et lumineux.»
Ces données sont synthétisées dans un tableau de bord, situé un peu plus loin, et présentées avec force graphiques et schémas. «Nous avons collecté les données de quelque 13 000 participants jusqu’à aujourd’hui, poursuit Hamid Bessaa. Ces données corrélées – la publication des données brutes est interdite – sont ensuite disponibles en open data.»
Direction du regard, état émotionnel, intensité des actions… Tout est regroupé sur ce tableau de bord, très visuel. L’idée, plus tard, serait que le joueur obtienne une fiche récapitulative.
Cette base de données requiert un petit nettoyage, le e-Lab étant encore en phase de calibration, mais les domaines d’applications sont d’ores-et-déjà multiples et prometteurs.
Pour un développeur, elle peut servir à identifier les informations pertinentes affichées par le jeu et à modifier l’interface en conséquence. Du reste, dans un coin du e-Lab se dresse un petit espace privatif, «où les développeurs et les écoles spécialisées, comme les Gobelins, peuvent venir tester leurs systèmes, déterminer ce qui marche ou ne marche pas, puis trouver des pistes d’amélioration» indique Hamid Bessaa.
Les premiers résultats livrent un aperçu des nuances de comportement. «Dans un jeu de plateforme, un joueur expérimenté porte son attention sur l’environnement, tandis qu’un novice se focalise davantage sur son personnage et a donc moins le temps d’anticiper, commente Hamid Bessaa. De manière générale, le premier est plus précis et exécute des actions ciblées et justifiées. Alors qu’un débutant met en cause le jeu en cas d’échec, l’expert se remet en question et se montre moins sensible aux émotions.»
Évaluer le joueur occasionnel
Nul doute que les e-sportifs pourraient tirer parti de ces enseignements pour se perfectionner. D’ailleurs, le laboratoire Lutin avait accompagné la Team-LDLC à la Gamers Assembly en 2015. Les chercheurs avaient étudié le comportement des participants pendant leurs parties de Shootmania, dans le but d’établir des modèles. «L’objectif est de savoir comment on peut aider un joueur à s’améliorer» précise Hamid Bessaa.
Les implications ne s’adressent pas qu’aux joueurs pro, mais aussi aux joueurs occasionnels. C’est l’une des perspectives du e-Lab. «On prévoit des fiches récapitulant les actions et des performances du joueur, afin que celui-ci se compare aux autres et sache à quelle catégorie il appartient : expérimenté, très bon, etc. Ce laboratoire pourrait même devenir un centre d’évaluation et d’entraînement.» Peut-être que les prochains champions du e-sport seront passés par là.
e-Lab, exposition permanente à la Cité des sciences et de l’industrie à Paris. Ouvert tous les jours sauf le lundi.
