Wenn ein Schauspieler mit einer Kulisse interagiert, die in der Realität nicht existiert, wissen wir, dass er lediglich vor einem Greenscreen agiert. Die Animations-Experten erledigen den Rest. Doch wenn wir die Situation umkehren, zeigt sich: Virtuelle Charaktere können in realen Umgebungen kaum etwas bewirken. Ein neues Projekt des MIT will das ändern – mithilfe der Analyse von Vibrationen, die in Objekten registriert werden, und das mit nur wenigen Minuten Videomaterial. Das führt zu interaktiven Szenarien, die beeindruckend gut funktionieren.
Die visuelle Technologie für Film und Fernsehen wird immer fortschrittlicher und auch günstiger. Motion Capture, 3D-Rendering, digitale Schauspieler, in Echtzeit gerenderte Szenen – die Liste ist lang. Ein Film, dessen Spezialeffekte heute 100 Millionen Dollar kosten, wird in ein paar Jahren wahrscheinlich weniger als die Hälfte benötigen – und das ist noch konservativ geschätzt. Was bleibt noch zu verbessern? Die Forscher des MIT haben sich der Interaktion virtueller Charaktere mit realen Umgebungen zugewandt, die in Bildern oder Videos festgehalten sind. Das Problem: Diese Formate liefern keine Zusatzinformationen. Ein statisches Skelett zu filmen liefert nur 2D-Daten. Könnte man jedoch seine Vibrationen analysieren, würde das die Sache komplett verändern.
Bevor virtuelle Charaktere enger mit einem Video verwoben werden können, muss der erste Schritt sein, das Video selbst interaktiv zu machen – und genau hier kommen Vibrationen ins Spiel. Mit ihrer Hilfe gewinnen die vom MIT entwickelten Algorithmen zusätzliche physikalische Eigenschaften des Objekts und sagen voraus, wie es sich unter äußeren Kräften verhalten wird. Die Ergebnisse im Präsentationsvideo sind spektakulär. Schon fünf Sekunden Videomaterial genügen, um eine Statuette zu bewegen und zu verbiegen. Die Vibrationen werden durch leichte Schläge registriert, aber selbst der Einfluss des Windes auf die Blätter eines Baumes oder einer Pflanze liefert genügend Daten für interaktive Videos.
An diesem Punkt kommen unsere virtuellen Charaktere ins Spiel. Egal wie rudimentär sie sind – allein das Schlagen auf ein Objekt, das Laufen oder Springen darauf erzeugt Bewegungen, die den Erwartungen an die Realität sehr nahe kommen. Die Projektverantwortlichen geben zu, dass die Simulationen nicht perfekt sind. Doch in Zukunft könnte diese Technologie über ihren derzeitigen künstlerischen Nutzen hinausgehen und zu einem Werkzeug werden, um die Integrität bestimmter Strukturen zu überwachen, etwa Brücken oder Gebäude – ganz zu schweigen von ihrem Potenzial in der erweiterten Realität.
