Insuffler de la vie aux pixels

      -      English  -  Deutsch  -  Français   -  Italiano
Siyu Tang a trouvé à l’ETH Zurich l’environnement idéal pour faire aSiyu Tang a trouvé à l’ETH Zurich l’environnement idéal pour faire avancer les choses au-delà des connaissances scientifiques. (Photo: ETH Zurich / Nicola Pitaro)

Des personnes virtuelles autonomes qui se déplacent et se comportent de manière naturelle, telle est la vision de Siyu Tang. L’informaticienne s’inspire notamment de nos modèles de comportement. La collaboration avec des architectes et des chirurgiens fournit d’autres éléments - et révèle également l’énorme potentiel des êtres humains virtuels.

Lorsque Siyu Tang collabore avec les professeurs d’architecture de l’ETH Fabio Gramazio et Matthias Kohler dans le projet "Flight Assembled Architecture (FAA) Revisited" pour le musée Guggenheim de Bilbao, la directrice du Computer Vision and Learning Group de l’Institut de Visual Computing de l’ETH réunit deux grandes fascinations de sa jeunesse : "Lors du choix de mes études, j’ai dû choisir entre l’architecture et l’informatique. A l’ETH, je peux maintenant, en tant qu’informaticienne, collaborer de manière interdisciplinaire avec des architectes de classe mondiale. C’est pour moi une combinaison parfaite".

En collaboration avec des sommités d’autres domaines.

Tang est une spécialiste de la saisie et de la modélisation de personnes virtuelles à partir d’images. Elle travaille depuis deux ans et demi comme professeure assistante à l’EPF de Zurich. Pour elle, l’environnement qui rend possible une telle collaboration fait partie des grands atouts de l’école supérieure. "Des sommités mondialement reconnues travaillent dans de nombreux domaines de recherche", souligne Tang. Cela permet de réaliser des projets interdisciplinaires qui ne seraient pas possibles autrement à un niveau aussi élevé.

Pour le projet "FAA Revisited", l’équipe de Tang a peuplé la ville piétonne verticale construite par des drones avec des avatars autonomes (voir vidéo). Les informaticiens ont pu s’appuyer sur leurs travaux de recherche antérieurs sur la modélisation d’êtres humains virtuels qui se déplacent naturellement dans leur environnement pendant de longues périodes : "La grande différence entre les projets de recherche et les questions issues du monde réel sont les exigences en matière de stabilité et de généralisation des technologies en tenant compte de toutes les conditions imaginables. Les avatars du projet -FAA Revisited doivent pouvoir se déplacer dans la ville pratiquement pour toujours et dans toutes les situations possibles".

Le rythme comportemental apporte la stabilité

Pour rendre cela possible, l’équipe de Tang s’est appuyée sur des connaissances issues de la biologie comportementale. En effet, à l’instar des prévisions météorologiques à long terme, les algorithmes utilisés jusqu’à présent s’égaraient de plus en plus dans leurs décisions directionnelles lorsqu’ils étaient utilisés sur une longue période, et ce, en raison du nombre pratiquement infini de possibilités qui s’offraient à eux. Il en résultait des schémas de déplacement qui n’étaient pas naturels et des conflits logiques.

L’équipe de Tang a maintenant défini les 0,25 secondes qui s’écoulent avant qu’un être humain ne perçoive consciemment quelque chose et ne puisse réagir par un mouvement, par exemple, comme l’intervalle pendant lequel l’algorithme de mouvement prend des décisions directionnelles. Le séquençage du mouvement dans cette "cadence" comportementale, combiné à l’introduction d’une composante statistique aléatoire dans chaque décision directionnelle, a des conséquences profondes. D’une part, le mouvement est stabilisé à long terme et, d’autre part, il présente également une variabilité digne de la vie.

Des simulations pour la formation des chirurgiens

Peupler la maquette d’architecture n’est pas le seul projet interdisciplinaire que Tang a entrepris jusqu’à présent en Suisse. Depuis le printemps, son équipe collabore à un deuxième projet ambitieux. Sous la direction de l’hôpital cantonal de Saint-Gall, du Centre hospitalier universitaire vaudois (CHUV) et de la clinique universitaire Balgrist, l’ETH Zurich et la ZHAW (Zürcher Hochschule für angewandte Wissenschaften) développent des outils de simulation en collaboration avec des partenaires industriels. La formation des chirurgiens doit être élevée à un nouveau niveau (cf. L’objectif est de mettre en place des cours standardisés avec un certificat de performance comparable à une formation pilote. Les chirurgiens doivent à l’avenir pouvoir perfectionner leur métier sur des simulateurs immersifs. Jusqu’à présent, la formation se déroule presque exclusivement pendant des opérations réelles ou sur des cadavres. Cela limite considérablement les possibilités d’exercice individuel.

S’appuyer sur le travail de la mère

Les spécialistes du traitement visuel des données n’en sont encore qu’au début de leur travail et les défis sont de taille : comment reproduire de manière réaliste des saignements importants, les mouvements rapides des chirurgiens ou les différentes structures tissulaires dans la réalité augmentée et dans les appareils de réalité virtuelle ? Tang s’attend à ce que son équipe doive évaluer des prises de vue d’opérations réelles sous tous les angles possibles et les intégrer dans un modèle. Ce dernier doit être capable d’apprendre efficacement et d’être visualisé en temps réel.

Pour la jeune scientifique, qui a grandi en Chine, ce projet est une motivation personnelle supplémentaire : lorsqu’elle était petite, sa mère, ophtalmologue, est partie deux ans en Mauritanie pour soigner des patients et former des collègues. Elle peut maintenant s’en inspirer : "L’entraînement sur simulateur peut faire faire d’énormes progrès à la médecine dans les pays en développement. Le fait que je puisse ainsi poursuivre indirectement le travail de ma mère est pour moi une source de satisfaction supplémentaire".

De l’université à l’industrie et vice-versa

Le parcours de Tang montre également qu’elle n’évite pas les défis pratiques. Après avoir obtenu un bachelor en informatique à l’université de Zhejiang, elle n’a pas immédiatement suivi une voie académique. Elle est plutôt passée de l’université d’élite chinoise au secteur privé en développant des logiciels pour des appareils électroniques grand public. "Mais au bout de deux ans, j’en ai eu assez", remarque en riant la chercheuse, qui dégage une grande passion pour son domaine et son équipe.

Elle ne voulait pas simplement faire son master en Chine, mais en Europe : "De nombreux appareils et instruments de haute qualité utilisés par ma mère, médecin, et mon père, ingénieur en mécanique, venaient d’Allemagne. De plus, le pays est situé au c½ur de l’Europe. C’est idéal pour découvrir les différents pays".

Le passage de l’Allemagne, où elle a déjà dirigé un premier groupe de recherche à l’Institut Max Planck des systèmes intelligents à Tübingen, à Zurich est une aubaine pour Tang, et pas seulement d’un point de vue scientifique. "Pour notre fils de quatre ans et demi, la ville est un paradis. Le lac, les nombreuses aires de jeux, les forêts environnantes et les montagnes toutes proches. Nous pouvons faire tellement de choses ensemble en famille ici".

Une voie égocentrique vers un comportement naturel

Tang a également de grandes ambitions pour ses projets de recherche. En plus des mouvements naturels, les personnes virtuelles devront à l’avenir se comporter de manière naturelle. Dans le modèle du projet Flight-Assembled-Architecture, ils ne se déplaceront plus seulement au hasard dans les pièces, mais interagiront entre eux et avec l’environnement comme de véritables êtres humains.

Pour Tang, la clé des interactions naturelles réside dans une vision des avatars centrée sur le moi. Comme de vraies personnes, ils doivent créer un modèle de leur environnement à partir de leur propre perspective et en tirer un comportement individuel.

Un impact au-delà de la science

L’architecture n’est pas le seul domaine d’application dans lequel les humains virtuels au comportement naturel permettront de nouvelles options. On attend avec impatience de voir dans quels projets interdisciplinaires les hommes virtuels de Tang vont ensuite déployer leur potentiel : "Il est difficile d’imaginer une meilleure situation de travail qu’ici à l’ETH. Je peux enthousiasmer mon équipe de recherche avec mes visions et nous pouvons, avec d’autres groupes de recherche, réaliser quelque chose qui va au-delà des connaissances scientifiques".