Alors que des concepts combinant Pokémon GO avec le casque HoloLens apparaissent sur le Web et que Microsoft fait tout son possible pour attirer davantage d'utilisateurs vers Windows 10, l'excellente division de recherche de Redmond continue de développer des technologies qui pourraient réécrire plusieurs règles de la réalité virtuelle, de la réalité augmentée et de la téléprésence. Cette fois, nous découvrons le projet Fusion4D, un système de capture de mouvements complexes, en haute définition, avec filtrage automatique du bruit et en temps réel.
La reconnaissance des gestes, la capture de mouvement, les caméras à haute vitesse et à définition extrême, et bien sûr ceux qui ont l'habileté d'exploiter au maximum ces outils, ont inauguré une nouvelle ère dans le développement de films, de jeux vidéo, de séries et d'applications. Un exemple concret de ces avancées est Hellblade, un titre que nous avons exploré de plus près en avril dernier et dont les « coulisses » nous dévoilent plusieurs détails techniques véritablement impressionnants. Le meilleur, c'est que le matériel ne vient pas seul dans cette aventure. Les logiciels sont de plus en plus flexibles, précis et intelligents ce qui permet tôt ou tard d'obtenir des productions de qualité supérieure à moindre coût. Certaines technologies sont encore confinées au laboratoire, mais grâce à des divisions comme Microsoft Research, nous pouvons entrevoir ce qui nous attend. Aujourd'hui, c'est au tour de Fusion4D.
La technologie Fusion4D
La description officielle de Fusion4D est quelque chose comme « capture à haute performance de scènes difficiles en temps réel », mais cette introduction ne rend pas justice à ce que l'on voit dans la vidéo. Essentiellement, il s'agit d'un algorithme capable de réaliser des reconstructions cohérentes et dynamiques de haute qualité en temps réel. Ce sont des processus très complexes, surtout lorsqu'on considère des « captures non rigides » à haut profil aléatoire, comme par exemple le mouvement d'une jupe sur une robe. Dans la démo présentée dans la vidéo, le modèle 3D a été généré à partir de huit caméras de profondeur, sur lequel sont combinés des trames RVB, des données de profondeur et de segmentation, contribuant au processus de texturisation. La capacité d'apprentissage de l'algorithme se traduit par un filtrage du bruit surprenant.
Le fait de ne pas avoir à définir de paramètres de configuration préalables, et la possibilité (encore lointaine) de se passer des combinaisons en élasthanne (c'est-à-dire lycra ou spandex), des points sur le visage et des lumières vives, font de Fusion4D une technologie que nous devons suivre de près. Fait intéressant : plusieurs chercheurs ayant travaillé sur le projet ont quitté Microsoft pour fonder une société nommée PerceptiveIO. Verrons-nous une solution commerciale ?
