THE ENEMY
Making Of

Par Fabien Barati – Partie 5/7

Congo

Le deuxième conflit traité dans The Enemy est celui de la guerre civile au Rwanda. Certains belligérants se cachent encore à la frontière, du côté de la République Démocratique du Congo. Le conflit persiste depuis des dizaines d’années entre ces rebelles et l’armée régulière congolaise.

Pour préparer la captation sur le terrain nous avions organisé en septembre 2015 de nouveaux tests chez Emissive. En effet, l’expérience de Tel Aviv et Gaza nous avait amené à faire des choix techniques légèrement différents.

Nous avons donc testé une technique de photogrammétrie pour le visage des combattants qui semblait prometteuse. Il fallait aussi ajouter la captation de différents mouvements, comme la marche. Mais le test le plus important était d’arriver à obtenir une qualité de captation parfaite sur les peaux noires. Jean-Gabriel en a profité pour utiliser d’autres boitiers photos et éclairages.

Tests de captation dans les bureaux d’Emissive

Nous partîmes Jean-Gabriel et moi avec tout le matériel le 4 octobre 2015. Nous rejoignions Karim et Selim qui était déjà là-bas pour les repérages, aidés par le fixer Adolphe. Après une escale (mémorable) à Amsterdam retardée pour cause d’intempéries, nous arrivâmes à Kigali, capitale du Rwanda. Mais le matériel n’avait pas suivi et était éparpillés entre Paris, Amsterdam et… Istanbul. Après 3 jours d’attente nous pouvions enfin partir vers Goma, notre destination finale située à la frontière, côté Congo.

Nous trouvions Karim et Selim dans l’hôtel où nous allions passer la semaine et qui nous servirait de lieu de captation. Aussitôt arrivés, Jean-Gabriel transforma le salon de notre suite en studio. Tout était prêt pour recevoir les combattants.

Jean-Gabriel met en place le studio de captation à Goma

Adolphe et Karim avaient fait un travail remarquable : nous pûmes interviewer 7 combattants de trois groupes armés différents. La logistique associée aux venues de ces combattants (qui devaient rester absolument secrètes) mériterait un article à elle toute seule ; sans parler de tout le travail de préparation, organisation, autorisations effectué par Camera Lucida.

La captation se déroula de manière similaire qu’en Israël et en Palestine avec quelques ajouts.

Captation des gestes

Initialement, il était convenu que les combattants restent fixes dans l’expérience VR. Avant de partir au Congo, il fut décidé de leur ajouter quelques comportements et de les rendre mobiles. Nous allions donc devoir capturer ces mouvements dans la réalité. Nous ajoutâmes cette phase lors des interviews. Les combattants furent filmés en train d’effectuer une liste de mouvement précis : marche, signe de la main, salutations… jusqu’à la façon dont ils se tournaient pour se mettre face à nous. Là encore, rien ne fut oublié pour capturer précisément leur manière de se mouvoir et de s’exprimer.

Photogrammétrie

La représentation des visages est un travail extrêmement fastidieux quand on a que quelques photos ou même un scan 3D de faible qualité. A partir du deuxième conflit, au Congo, nous avons donc décidé d’utiliser la photogrammétrie pour le visage des combattants.

La photogrammétrie est un procédé qui consiste à recréer automatiquement un objet en 3D à partir de photos. Il faut prendre beaucoup de clichés avec des contraintes fortes : pas de flou, suffisamment de repères visuels entre les photos, éviter les brillances et les reflets, et surtout une immobilité quasi parfaite du sujet.

Pour que les combattants ne bougent pas trop il fallait donc aller très vite. En faire le tour en prenant des photos était trop lent. L’idée nous est alors venue de les faire asseoir sur une chaise pivotante qui tournerait de manière fluide, sans à-coup. Nous les ferions tourner manuellement devant quatre appareils photos fixes, déclenchés en même temps. Pour plus de stabilité pendant la rotation, Jean-Gabriel avait mis au point un repose-tête confectionné à l’aide de pinces et bras portants.

C’était une étape stressante. Il fallait aller vite et scruter les mouvements des combattant. S’ils bougeaient trop, il fallait recommencer. Je tournais la chaise petit à petit en ponctuant chaque mini-rotation d’un « top! » pour que Jean-Gabriel et Selim puissent prendre les photos. La qualité du résultat ne serait connue qu’une fois de retour à Paris !

Séance de photogrammétrie pour un combattant congolais

Un tournage difficile

Au Congo, il y eu aussi plusieurs éléments perturbateurs qui rallongèrent notablement le temps de captation. Ces situations ne sont pas anodines. Il est difficile d’évaluer la sensibilité des combattants à refaire des prises ou à rester plus longtemps que prévu dans un lieu qui peut être dangereux pour eux (et pour nous).

En voici quelques-unes :

Les coupures d’électricité intempestives, régulières à Goma
Les hélicoptères de l’ONU et de l’armée survolaient l’hôtel sans cesse, ce qui nous obligeait à recommencer plusieurs fois les interviews
La traduction en direct par l’interprète se révélait compliquée en Swahili
Les boitiers photo chauffaient et se mettaient en sécurité.

Mais pour finir nous étions très satisfaits du résultat. Les messages délivrés par les combattants étaient très forts et les données captées semblaient de bonne qualité.

En plus des interviews, nous eurent la chance de participer à une messe locale et surtout de visiter une mine à ciel ouvert à quelques encablures de Goma. Personnellement c’était un des voyages les plus enrichissants qu’il m’est été donné de faire.

Karim et Selim prenant des clichés d’un soldat congolais

Crédibilité de l’environnement virtuel

Une immersion réussie en réalité virtuelle impose une cohérence parfaite des éléments visibles. Rien ne doit dénoter. On peut être dans un monde cartoon, en noir et blanc ou de style impressionniste du moment que tout ce qu’on voit est dans la même veine graphique.

Dans The Enemy, nous sommes dans l’ultra-réalisme : tout dans l’environnement à l’aspect du réel et réagit de manière crédible aux autres éléments.

On l’a vu pour les combattants virtuels, c’est aussi vrai pour les pièces dans lesquelles on se déplace et la lumière qui les éclaire. Les éclats, les reflets et les ombres ont dû être soigneusement réglés pour obtenir cette impression, cette unité.

Techniquement, nous utilisons des matériaux PBR qui réagissent de manière réaliste à l’éclairage, et des lightprobes qui permettent de pré-calculer l’ambiance lumineuse. Le rendu final est calculé en temps réel pour obtenir des ombres et des reflets justes qui suivent les gestes des combattants et des utilisateurs.

C’est aussi pour cela que l’éclairage utilisés lors des captations des combattants réels devait être le plus diffus possible : tous les effets lumineux sont calculés plus tard.

Finalement on obtient une cohérence globale : on sait qu’elle fonctionne quand personne ne la remarque !

L’éclairage et la qualité des matériaux est très important pour le réalisme global

Second Prototype : Multi-utilisateur

Système portatif

Le second prototype de The Enemy devait permettre de valider l’aspect multi-utilisateur et d’intégrer davantage de contenu, notamment les combattants rwandais et congolais.

Dans le premier prototype, l’utilisateur était relié à un PC par un long câble. Il était impossible de garder ce système à plusieurs participants. En effet, même à seulement deux personnes on ne pourrait pas empêcher les câbles de s’emmêler ou les utilisateurs de trébucher en déambulation libre.

Il fallait donc créer un système portatif que chaque utilisateur déplacerait avec lui durant toute l’expérience. L’idée de base était simple : accrocher un PC portable suffisamment puissant dans le dos.

Malheureusement, un PC portable à pleine puissance n’a qu’une dizaine de minutes d’autonomie ! Impossible de tester correctement l’expérience dans ces conditions.

Anthony Boussolier avec qui nous collaborons depuis plusieurs années imagina et réalisa une solution sur mesure. Les PC portables allaient être alimentés par une batterie de vélo électrique.

Anthony customisa des sacs à dos pour y faire entrer la batterie, un transformateur électrique et l’ordinateur portable, de telle sorte que nous avions maintenant une autonomie de plusieurs heures. Il ajouta même un switch très utile sur haut du sac à dos pour allumer le dispositif. Seul le poids du dispositif représentait un inconvénient : 11kg à porter pendant 50 minutes !

Nous savions que ce ne serait pas le dispositif final et cette solution nous permis d’avancer à grand pas dans les développements et les réglages du scénario.

Système VR portatif du second prototype : ordinateur portable et batterie de vélo électrique (ici cachée derrière l’ordinateur)

Plate-forme collaborative

Des tests furent effectués à la Salle Triangle du Centre Pompidou, à l’Agora de la Cité des Sciences et à Boston, au MIT. C’était l’occasion d’intégrer plus de contenu avec les combattants du Congo sélectionnés : Jean de Dieu et Patient.

Nous avons pu aussi valider un composant extrêmement important du projet, la couche réseau qui permettait notamment aux participants de de voir entre eux. C’était la première fois que nous utilisions cette brique technologique. Concrètement, nous avons développé un logiciel capable de faire communiquer les ordinateurs de chaque utilisateur, de contrôler l’expérience à distance et de monitorer tous les évènements, normaux ou anormaux. Ce logiciel est hébergé sur l’ordinateur maître. La communication s’effectue par réseau Wifi standard, optimisé avec l’aide d’Anthony.