Terwijl op het web concepten verschijnen die Pokémon GO combineren met de HoloLens-headset en Microsoft alles doet om meer gebruikers naar Windows 10 te trekken, blijft de uitstekende onderzoeksdivisie in Redmond doorgaan met de ontwikkeling van technologieën die verschillende regels in virtual reality, augmented reality en telepresence zouden kunnen herschrijven. Deze keer komen we het Fusion4D-project tegen, een vastleggingssysteem voor complexe bewegingen, in hoge definitie, met automatische ruisfiltering en in realtime.
Gebaarherkenning, motion capture, hogesnelheidscamera's met extreme definitie, en natuurlijk degenen met de vaardigheid om deze tools maximaal te benutten, zijn een nieuw tijdperk begonnen in de ontwikkeling van films, videogames, series en applicaties. Een solide voorbeeld van deze vooruitgang is Hellblade, een titel die we in april vorig jaar wat nader bekeken, en waarvan de achter de schermen ons verschillende technische details laat zien die werkelijk indrukwekkend zijn. Het beste is dat de hardware niet alleen komt in dit avontuur. Software wordt steeds flexibeler, preciezer en intelligenter, wat vroeg of laat helpt om producties van hogere kwaliteit te bereiken tegen lagere kosten. Sommige technologieën zitten nog steeds in het laboratorium, maar dankzij divisies als Microsoft Research kunnen we zien wat er komt. Vandaag is het de beurt aan Fusion4D.
Fusion4D: realtime vastlegging in hoge definitie
De officiële omschrijving voor Fusion4D is zoiets als "high-performance vastlegging van uitdagende scènes in realtime", maar die introductie doet geen recht aan wat we in de video zien. Eigenlijk hebben we te maken met een algoritme dat in staat is om coherente en dynamische reconstructies van hoge kwaliteit in realtime te maken. Dit zijn zeer complexe processen, vooral wanneer we niet-rigide vastleggingen overwegen met een hoog willekeurig profiel, zoals bijvoorbeeld de beweging van een rok van een jurk. In de demo die de video toont, werd het 3D-model gegenereerd uit acht dieptecamera's, waarbij RGB-frames, dieptedata en segmentatie worden gecombineerd, wat helpt bij het texturisatieproces. Het leervermogen van het algoritme vertaalt zich in een verrassende ruisfiltering.
Het feit dat er geen vooraf ingestelde parameters nodig zijn, en de mogelijkheid (hoewel nog ver weg) om de elastaanpakken (lees: lycra of spandex), gezichtspunten en felle lichten achter te laten, maken Fusion4D tot een technologie die we stap voor stap in de gaten moeten houden. Een interessant detail: verschillende onderzoekers die aan het project werkten, hebben Microsoft verlaten om een bedrijf op te richten genaamd PerceptiveIO. Zullen we binnenkort een commerciële oplossing zien?
Bron: Microsoft Researchs Fusion4D project can enable high-fidelity immersive telepresence
Bekijk het onderzoek (PDF): Bekijk het onderzoek (PDF)
