Chaque fois qu'un acteur interagit avec un décor impossible à reproduire dans la vie réelle, nous savons qu'il travaille devant un écran vert, et les experts en animation se chargent du reste. Pourtant, lorsqu'on inverse la situation, les personnages virtuels ne peuvent pas faire grand-chose dans des environnements réels. Un nouveau projet du MIT cherche à changer cela grâce à l'étude des vibrations enregistrées sur des objets à l'aide de quelques minutes de vidéo, menant à des scènes interactives très réussies.
La technologie visuelle ne cesse de progresser
La technologie visuelle appliquée au cinéma et à la télévision est de plus en plus avancée et économique. Capture de mouvement, reproduction 3D, acteurs numériques, scènes rendues en temps réel... la liste est longue. Un film qui coûte aujourd'hui 100 millions de dollars en effets spéciaux en demandera probablement moins de la moitié dans quelques années, et j'avoue être plutôt conservateur. Que peut-on faire de plus ? Où peut-on encore s'améliorer ? Les équipes du MIT ont décidé d'explorer la voie de l'interaction des personnages virtuels avec des environnements réels, capturés en images ou en vidéo. Le problème est que ces formats n'apportent pas d'informations supplémentaires. Par exemple, filmer un squelette statique ne fournit que des données en 2D, mais s'il était possible d'analyser ses vibrations, la donne changerait complètement.
Des vidéos interactives grâce aux vibrations
Avant que ces personnages virtuels puissent interagir plus étroitement avec une vidéo, la première étape consiste à rendre la vidéo interactive, et c'est là que les vibrations interviennent. Grâce à elles, les nouveaux algorithmes développés par le MIT parviennent à obtenir des propriétés physiques supplémentaires sur l'objet et à prédire la façon dont il se comportera sous l'effet de forces externes. Les résultats présentés dans la vidéo de démonstration sont spectaculaires. Cinq secondes de vidéo suffisent pour déplacer et tordre une statuette. Les vibrations sont enregistrées à l'aide de légers chocs, mais même l'effet du vent sur les feuilles d'un arbre ou d'une plante fournit amplement de données pour créer des vidéos interactives.
Des personnages virtuels dans des environnements réels
C'est ici qu'apparaissent nos personnages virtuels. Même bruts, le simple fait de frapper l'objet, de marcher ou de sauter dessus génère des mouvements très proches de ce qu'on attend dans la réalité.
Les responsables du projet admettent que les simulations ne sont pas parfaites, mais espèrent à l'avenir que cette technologie pourra dépasser son profil artistique actuel et devenir un outil pour surveiller l'intégrité de certaines structures, comme des ponts ou des bâtiments, sans oublier son potentiel en réalité augmentée.
