Wanneer een acteur interacteert met een onmogelijke omgeving, weten we dat hij zijn talent toont voor een groen scherm, en dat de animatie-experts de rest doen. Maar als we die situatie omdraaien, ontdekken we dat virtuele personages niet veel kunnen doen in echte omgevingen. Een nieuw project van het MIT wil dat veranderen door het bestuderen van trillingen die zijn vastgelegd in objecten met slechts enkele minuten video, wat leidt tot interactieve scènes.
De volgende stap in visuele effecten
De visuele technologie voor film en televisie wordt steeds geavanceerder en goedkoper. Motion capture, 3D-reproductie, digitale acteurs, in realtime gerenderde scènes... de lijst gaat door. Een film die vandaag 100 miljoen dollar kost aan speciale effecten, kost waarschijnlijk over een paar jaar minder dan de helft, en ik ben nog conservatief. Wat kan er nog meer? Waar is verbetering mogelijk? De mensen van het MIT hebben besloten de weg van de interactie van virtuele personages met echte omgevingen te verkennen, vastgelegd in beelden of video. Het nadeel is dat die formaten geen extra informatie bieden. Bijvoorbeeld: het filmen van een statisch skelet levert alleen 2D-gegevens op, maar als het mogelijk zou zijn om de trillingen te analyseren, verandert het verhaal compleet.
Video wordt interactief
Voordat die virtuele personages dichter bij een video kunnen komen, is de eerste stap om de video interactief te maken, en daar komen de trillingen om de hoek kijken. Met hun hulp slagen de nieuwe algoritmen van het MIT erin om extra fysieke eigenschappen over het object te verkrijgen en te voorspellen hoe het zich zal gedragen onder externe krachten. De resultaten die in de introductievideo zijn gepubliceerd, zijn spectaculair. Slechts vijf seconden video zijn genoeg om het beeldje te bewegen en te buigen. De trillingen worden geregistreerd met lichte tikken, maar zelfs het effect van de wind op de bladeren van een boom of plant levert genoeg gegevens op voor het maken van interactieve video's.
Op dit punt verschijnen onze virtuele personages. Hoe ruw ze ook zijn, het simpele feit dat ze het object slaan, erop lopen of springen, genereert bewegingen die heel dicht bij de werkelijkheid liggen. De verantwoordelijken voor het project geven toe dat de simulaties niet perfect zijn, maar in de toekomst hopen ze dat deze technologie verder kan gaan dan het huidige artistieke profiel, en een hulpmiddel kan worden voor het monitoren van de integriteit van bepaalde constructies, zoals bruggen of gebouwen, om nog maar te zwijgen over het potentieel in augmented reality.
