THE ENEMY
Making Of
Par Fabien Barati – Partie 4/7
Free Roaming
Le principal défi technologique de The Enemy était de permettre aux visiteurs, casque VR sur la tête, de se déplacer librement sur plus de 200m². En marchant dans l’espace réel on se déplace de manière identique dans un monde virtuel que l’on observe dans le casque. On appelle cela déambulation libre, ou « free roaming ». En 2014, il n’existait pas d’installation VR capable d’accueillir du public en déambulation libre, encore moins en multi-utilisateur.
Pour réaliser cette illusion, j’avais dans l’idée de mixer un casque VR avec un système de motion capture. En ayant travaillé sur des CAVE, j’avais l’expérience de la capture de mouvement adaptée à la VR. En effet, dans un CAVE, on capte la position d’un utilisateur et les images qu’il voit projetées sur les murs sont calculées en temps réel en fonction de cette position. C’est ce concept qu’il fallait adapter à un casque VR et sur une grande surface.
Un CAVE est une salle immersive permettant de faire de la réalité virtuelle
Je savais que ces systèmes étaient très réactifs et induisaient peu de latence. C’est-à-dire que le temps de captation, de calcul de la position de l’utilisateur et de l’image qui lui est envoyé est très court (moins de 10 millisecondes). Une latence trop forte est rédhibitoire en VR, elle entraîne de la cinétose, similaire au mal des transports. L’utilisateur doit voir des images qui correspondent parfaitement aux accélérations qu’il subit lorsqu’il se déplace.
Autre avantage de ce système, la zone de captation pouvait être agrandie virtuellement à l’infini en y ajoutant des caméras de tracking.
Parmi plusieurs systèmes de motion capture je fis le choix d’Optitrack pour sa simplicité et son efficacité. Ils se sont d’ailleurs montrés de plus en plus présents dans la réalité virtuelle ces dernières années. Ils ont été aussi d’une grande aide, notamment par le biais de François Asseman qui a beaucoup fait pour le projet.
Les casques VR de chaque utilisateur sont munis de marqueurs qui reflètent ou envoient de l’infrarouge. Les caméras Optitrack détectent l’infrarouge de ces marqeurs. On les dispose autour de la zone d’exploitation pour que chaque endroit soit couvert par au moins 3 d’entre elles. Les données captées par les caméras sont alors envoyées au logiciel Motive qui détermine la position exacte, au millimètre près, de tous les participants.
C’est ce système que nous avons pu mettre en place pour la réalisation du premier prototype de The Enemy.
Les caméras Optitrack détectent les « marqueurs » positionnées sur le casque VR
Premier Prototype
La première version utilisable de The Enemy, le 1er prototype, devait permettre de faire la démonstration du projet dans une version simplifiée. L’objectif était de pouvoir communiquer et surtout d’obtenir des budgets supplémentaires pour le réaliser dans son entièreté.
Sur le plan technique, les utilisateurs étaient munis d’un casque VR Oculus DK2 et d’un casque audio. Ces deux dispositifs étaient eux-mêmes reliés par trois longs câbles (USB, HDMI, Audio) à un ordinateur qui effectuait tous les calculs, notamment des images visibles dans le casque. Cela permettait de se déplacer librement sur environ 50m². Cet ordinateur servait aussi de relais au dispositif Optitrack et de centre de contrôle pour monitorer l’expérience. Six caméras étaient disposées le long de l’espace pour détecter les utilisateurs.
J’avais cherché le moyen le plus efficace pour être détecté par ces caméras. J’en étais arrivé à surmonter le casque VR d’antennes qui donnaient un air, disons, spécial à son porteur. Les boules réfléchissantes au bout des antennes composaient un motif que les caméras savaient transformer en position et orientation. C’était un moyen fiable de suivre les participants.
Marqueurs positionnés au bout d’antennes, sur le casque
Cette version était mono-utilisateur et nous mettait simplement face à Gilad et Abu Khaled. C’était une expérience d’une quinzaine de minutes, totalement inédite techniquement.
Nous fîmes de nombreuses présentations de ce prototype : France Télévision, l’Ambassade de France à New York, Sunnyside, le MIT, Harvard, Chicago, la World Bank, Futur en Scène, Forum des Images, IDFA ou encore Isreal Film Fest. Le point d’orgue fut la présentation du prototype au Tribeca Film Festival en avril 2015.
Ce premier prototype posa les bases de la narration, permis de tester la déambulation libre et notre capacité à représenter les combattants de manière parfaitement réaliste. Nous étions prêts à produire la suite de The Enemy !
Dans le premier prototype, l’utilisateur est relié à un ordinateur par un long câble.
Adapter le virtuel au réel
L’exploitation de projets wharehouse-scale (de grands espaces dans lesquels on se déplace librement en VR) nécessite généralement de pouvoir s’adapter aux lieux de diffusion réels. On veut pouvoir marcher dans la zone la plus grande, un casque VR sur la tête, tout en évitant de se cogner dans les murs de la pièce. Suivant les salles, cette zone est souvent différente architecturalement : plus petite, plus grande, plus longue ou large, complètement biscornue ou, comme au MIT Museum, parsemée de piliers.
La salle du MIT Museum est parsemée de piliers
La possibilité de s’adapter au lieu est donc très importante pour la diffusion de l’expérience mais aussi pour tous les tests et les présentations. Le dispositif The Enemy a été monté une trentaine de fois depuis 2014 !
Nous avions alors conçu, pour les prototypes, un système de calibration qui adaptait automatiquement les salles virtuelles au monde réel. Ceci nous permettait donc d’effectuer des présentations et des tests très rapidement dans un nouveau lieu.
La version finale est plus rigide car l’éclairage est en partie pré-calculé. Mais il est bien sûr toujours possible d’adapter manuellement l’environnement virtuel au monde réel.
THE ENEMY
MAKING OF
Emissive
71 rue de Provence
75009 Paris - FRANCE
+33 1 49 53 09 26