THE ENEMY
Making Of

Par Fabien Barati – Partie 3/7

Tel Aviv & Gaza

Mise en place

La première captation se déroula à Tel Aviv. C’était le lieu le plus simple logistiquement et pour trouver des soldats à interviewer. Jean-Gabriel et moi rejoignirent Karim et Selim dans la capitale Israélienne le 5 mai 2014.

Aussitôt arrivés dans notre Airbnb où nous logions tous les quatre, nous vidions le salon de ses meubles pour le transformer en studio de captation.

Première chose à faire : installer le fond blanc. Il nous servirait à facilement détourer les photos, si besoin. Mais surtout, il permet d’obtenir une lumière uniforme sur les combattants. C’est un point extrêmement important pour que les combattants virtuels s’intègrent correctement dans le décor final. Les éclairages furent ensuite disposés et réglés en prenant en compte cette contrainte.

Les appareils photo étaient eux placés de la manière suivante : trois d’entre eux, repartis à gauche, au centre et à droite, permettaient de capturer les combattants en pieds. Le dernier appareil filmait le visage en gros plan.

Enfin je disposai deux Kinects de part et d’autre de la pièce pour capturer les mouvements.

Après quelques tests nous étions prêts à accueillir les premiers combattants.

Selim et Jean-Gabriel s’affairent lors de l’interview d’un soldat israélien.

Etape 1 : Interview

Les soldats israéliens arrivèrent tour à tour. Ils furent équipés de micros puis invités à se placer au centre. Jean-Gabriel ajustait les équipements à leur taille.

Karim, aidé d’un traducteur, commença alors l’interview. Il posa différentes questions sur leur vie et leurs inspirations. Ceux-ci répondaient dans leur propre langue.

C’était un travail de journalisme fantastique de la part de Karim. Trouver les bons candidats, savoir les mettre suffisamment en confiance pour qu’ils se livrent sans gêne, poser les bonnes questions ; de là découle l’impact formidable de The Enemy quand on écoute les combattants.

Durant cette phase nous filmions les soldats avec les quatre appareils photo en même temps en enregistrant leur voix avec un micro et leurs gestes avec les Kinects.

C’est très précisément ce qui s’est dit et passé durant les interviews que nous allions devoir représenter et que les utilisateurs de The Enemy allaient, finalement, vivre.

Etape 2 : Photos

Seconde étape, la prise des photos de l’intégralité du corps des combattants. Aucun centimètre carré n’était oublié, il nous fallait pouvoir reconstituer chaque combattant en 3D grâce à ces clichés en très haute résolution. Pas de place pour l’interprétation.

Nous allions aussi pouvoir en tirer des textures de haute qualité, obligatoire pour le réalisme des vêtements et de la peau.

C’était un exercice compliqué sur le papier car les poses à effectuer par les combattants pendant cette étape, sans être difficiles, pouvaient leur sembler ridicule. Il était délicat de prévoir leur réaction face à cette situation.

En effet, pour les prendre en photo nous leur demandions de présenter les paumes, les flancs, les côtés intérieurs des pieds, le dessus de la tête, les paupières avec les yeux fermés, et le pire, les dents avec les lèvres retroussées autour des gencives !

Pas de problème finalement ! Karim a su leur donner confiance.

Etape 3 : Scan 3D

Je balayais ensuite le combattant qui devait se tenir debout et parfaitement immobile à l’aide d’une Kinect connecté à un ordinateur portable. Je pouvais voir le résultat de la reconstruction 3D du corps en temps réel sur l’écran. C’est une source très bruitée mais intéressante pour obtenir la forme générale du combattant.

Je pouvais ensuite montrer le résultat aux combattants, une démarche intéressante qui les mettait face à leur double virtuel.

Etape 4 : Backup

Une fois les soldats partis, les heures suivantes étaient consacrées à sauvegarder et dupliquer toutes les données captées. Les cartes mémoire étaient vidées dans plusieurs disques durs qui devenaient notre trésor de guerre.

Gaza

Le jour d’après, Karim, Selim et Jean-Gabriel mirent le cap sur Gaza pour y interviewer des combattants palestiniens. Faute de carte de presse je ne les accompagnai pas ; je suivais à distance leurs péripéties qui se sont révélées plutôt dangereuses et pleines d’imprévus. Ils furent notamment bloqués à la frontière, au retour, obligés d’attendre deux jours sa réouverture.

J’avais remis l’appartement en état en les attendant. Dès leur retour à Tel Aviv nous purent repartir à Paris sans encombre. Nous allions maintenant savoir si les sources que nous avions capturées seraient réellement utilisables !

Personnages virtuels réalistes

Représentation générale

Le réalisme des combattants est un paramètre critique dans The Enemy. Leur représentation, leur double virtuel, doit être parfaitement crédible; sans quoi on s’attarderait sur leurs défauts et pas sur le message qu’ils ont à nous transmettre.

Créer un humain virtuel parfaitement réaliste est difficile, surtout quand on doit reconnaître la personne qu’il représente. La moindre imperfection nous fait prendre conscience de sa virtualité et peut entraîner une gêne face à ce « presque-humain ».

On tombe dans la problématique de l’uncanny valley (« vallée de l’étrange » en français) : plus on s’approche du réalisme sans l’atteindre, plus on augmente ce sentiment de gêne. Il fallait donc atteindre le réalisme total.

Représentation théorique de la « vallée de l’étrange »

Un nombre incalculable de détails sont à prendre en compte : La forme de son corps, de son visage bien sûr, la texture de sa peau, sa brillance, sa transparence, l’éclat dans ses yeux et de ses dents ou encore l’ombre portée des cils. Nous avons aussi attaché une grande attention aux matériaux des vêtements et des accessoires comme la brillance des bottes de Jean de Dieu.

La modélisation 3D des combattants était confiée à Vanessa Jorry et Jean-Baptiste Sarrazin, tous deux artistes 3D chez Emissive. Ils partirent des différentes sources captées sur le terrain pour réaliser Gilad et Abu Khaled. Sans être parfaites, ces sourcent s’avérèrent largement suffisantes pour atteindre un très fort niveau de réalisme.

Les combattants virtuels modélisés en 3D se doivent d’être parfaitement réalistes

Mouvement

Le mouvement est lui aussi un paramètre critique. Il fallait bien sûr aller au-delà des gestes robotiques que l’on observe souvent sur des personnages virtuels. Nous avons donc parfaitement calqué les gestes que les combattants réels avaient effectué pendant leur interview, allant jusqu’à représenter les micros mouvements de la jambe de Gilad, le soldat israélien. Clotilde Steffen, notre animatrice chez Emissive, a réalisé un travail remarquable, sachant qu’il n’était pas possible de réaliser de la motion capture.

Clotilde skinnait et riggait les combattants virtuels, c’est-à-dire qu’elle plaçait des os virtuels dans leur corps et leur tête. Elle déplaçait ensuite ces os pour animer les combattants en se synchronisant avec les vidéos. Toutes les poses mises bout à bout donnent une animation complète.

Les sources tirées des Kinects n’ont malheureusement pas permis d’obtenir un résultat satisfaisant, seules les vidéos ont été utilisées.

Pour le visage nous utilisions le logiciel Faceware qui, à partir des vidéos serrées sur la tête des combattants, savait retranscrire les visèmes dans le temps (un visème est une pose de visage correspondant à un son). On obtenait une suite de visèmes synchronisés avec la voix des combattants. Sans être parfait, cela nous faisait gagner beaucoup de temps. Clotilde reprenait ensuite chaque animation et effectuait un travail très précis pour obtenir les mouvements et micromouvements naturels du visage.

Les combattants virtuels sont animés pour calquer la réalité

Animations paramétriques

Pour une question d’immersion et d’implication, les combattants effectuent aussi des gestes à destination des utilisateurs ou des réactions face à leur comportement. Par exemple, ils effectuent un mouvement de recul si on s’approche trop, ils nous suivent du regard. Ces mouvements paramétriques (qui ne sont pas pré-déterminés par un animateur mais par une mini-intelligence artificielle), se doivent eux aussi d’être parfaitement réalistes.

Le suivi du regard implique par exemple de jouer sur l’angle des yeux, l’angle de la tête (qui diffèrent de celui des yeux), la vitesse et les limites de leur rotation, l’accélération et la décélération.

En ce qui concerne la qualité globale des personnages virtuels, j’ai estimé que le résultat était satisfaisant quand les utilisateurs ont commencé à avoir peur de s’approcher des combattants. Ils semblaient aussi menaçants que dans la réalité. C’était le point de départ pour découvrir leur humanité.