Za każdym razem, gdy aktor wchodzi w interakcję z planem, którego nie da się odtworzyć w prawdziwym życiu, wiemy, że występuje przed zielonym ekranem, a eksperci od animacji odpowiadają za resztę. Jednak gdy odwrócimy tę sytuację, odkryjemy, że wirtualne postacie nie mogą zbyt wiele zdziałać w rzeczywistych środowiskach. Nowy projekt MIT ma to zmienić dzięki badaniu wibracji rejestrowanych na obiektach przy użyciu zaledwie kilku minut wideo, co prowadzi do bardzo udanych interaktywnych scen.
Cyfrowi aktorzy i rzeczywiste środowiska
Technologia wizualna stosowana w filmie i telewizji staje się coraz bardziej zaawansowana, a także tańsza. Przechwytywanie ruchu, reprodukcja 3D, cyfrowi aktorzy, sceny renderowane w czasie rzeczywistym... lista jest długa. Film, który dziś kosztuje 100 milionów dolarów za efekty specjalne, prawdopodobnie za kilka lat będzie wymagał mniej niż połowy tej kwoty, i przyznaję, że jestem konserwatywny. Co jeszcze można zrobić? Gdzie można ulepszyć? Ludzie z MIT postanowili zbadać ścieżkę interakcji wirtualnych postaci z rzeczywistymi środowiskami, uchwyconymi na zdjęciach lub wideo. Problem polega na tym, że te formaty nie dostarczają dodatkowych informacji. Na przykład: sfilmowanie statycznego szkieletu daje nam tylko dane 2D, ale jeśli możliwe byłoby zbadanie jego wibracji, historia zmieniłaby się całkowicie.
Wibracje jako klucz do interakcji
Zanim te wirtualne postacie będą mogły nawiązać bliższy kontakt z wideo, pierwszym krokiem jest uczynienie wideo interaktywnym, a tutaj właśnie wkraczają wibracje. Dzięki nim nowe algorytmy opracowane przez MIT są w stanie uzyskać dodatkowe właściwości fizyczne obiektu i przewidzieć, jak będzie się on zachowywał pod działaniem sił zewnętrznych. Wyniki opublikowane w filmie prezentacyjnym są spektakularne. Zaledwie pięć sekund wideo wystarczy, aby figurka została przesunięta i wygięta. Wibracje rejestrowane są przy lekkich stuknięciach, ale nawet efekt wiatru na liściach drzewa lub rośliny dostarcza wystarczających danych do tworzenia interaktywnych wideo.
W tym miejscu pojawiają się nasze wirtualne postacie. Nawet prymitywne, sam fakt uderzenia w obiekt, chodzenia lub skakania po nim generuje ruchy bardzo zbliżone do oczekiwanych w rzeczywistości. Osoby odpowiedzialne za projekt przyznają, że symulacje nie są doskonałe, ale w przyszłości mają nadzieję, że technologia ta wyjdzie poza obecny profil artystyczny i stanie się narzędziem do monitorowania integralności niektórych konstrukcji, takich jak mosty czy budynki, nie zapominając o jej potencjale w rzeczywistości rozszerzonej.
