05.08.15 - Avoir son double en 3D, mais sans le matériel d’un studio hollywoodien. C’est le pari relevé par des chercheurs de l’EPFL, qui ont condensé un procédé coûteux et complexe pour le mettre à la portée de la caméra d’un smartphone.
«Nous voulions que la marche à suivre soit simple et rapide: il suffit de se filmer et de prendre quelques plans additionnels pour les expressions du visage, et notre algorithme s’occupe du reste», explique Alexandru Ichim, chercheur au Laboratoire d’informatique graphique et géométrique de l’EPFL. Le double numérique peut alors être affiché sur un écran, et animé en temps réel si vous le souhaitez avec une caméra qui traque vos mimiques. «Le but était de rendre le processus accessible à toute personne ayant un smartphone, même un ancien modèle, tant qu’il peut prendre une vidéo», ajoute le chercheur.
Les concepteurs du programme prévoient de nombreuses possibilités d’utilisation dans un futur proche : jeux, réalité virtuelle, discussions en ligne avec d’autres avatars, incrustation dans des films, visioconférence... voire même thérapie avec des avatars pour les personnes souffrant de schizophrénie, comme cela se fait déjà à l’University College of London.
Chacun sourit à sa façon
Si le procédé est simple pour l’utilisateur, les algorithmes nécessaires à la création d’un avatar le sont beaucoup moins. Car se priver des conditions d’un studio, avec ses multiples caméras et éclairage, pour se rabattre sur un smartphone tient du casse-tête. «Nous devons partir du principe que les gens vont prendre des images dans des conditions impossibles à contrôler», souligne Alexandru Ichim. Principales difficultés : les variations de lumière, les prises de vue instables sans trépied, et une qualité limitée de vidéo liée à la caméra du smartphone.
Des éléments avec lesquels il a fallu jongler pour obtenir un bon résultat final. Car pour être crédible, un avatar doit être presque parfait. «Il suffit d’un détail pour que les gens aient une réaction de rejet, explique Alexandru Ichim. Le modèle doit avoir la bonne géométrie du visage, et reproduire la texture, la couleur ou des détails comme les rides d’expression.» Sans oublier l’animation : chacun sourit, bâille ou a l’air renfrogné d’une manière différente. Recréer fidèlement de telles expressions nécessite des algorithmes spécifiques pour l’animation du visage en temps réel, afin de donner vie à l’avatar.
A l’avenir, les chercheurs de l’EPFL souhaitent encore affiner le procédé, notamment au niveau des limitations qu’ils rencontrent pour le moment. Recréer exactement les cheveux, par exemple, est très compliqué. Et l’intérieur de la bouche, avec les dents et la langue, de même que les oreilles, ne sont pour l’heure pas encore individualisés. Quant à la modélisation du corps, elle est aussi prévue, même si les chercheurs se sont concentrés d’abord sur le visage, qui est le moyen de communication le plus expressif de l’être humain.
Source : Dynamic 3D avatar creation from hand-helf video input, Alexandru-Eugen Ichim, Sofien Bouaziz, Mark Pauly, ACM Transactions on Graphics (Proceedings of SIGGRAPH), 2015.
Photos: © Murielle Gerber, EPFL 2015