W czasach zdominowanych przez fake newsy, koncepcja deepfake'u przyszła, aby zostać. W niektórych przypadkach jedynie świętowały znane postacie, a w innych próbowano je rozebrać. Co dalej? Na razie tworzenie teledysków przy użyciu wielu klipów przetworzonych za pomocą synchronizacji warg. Jest to możliwe dzięki systemowi Wav2Lip, który oprócz tego, że jest open source, posiada już interaktywne demo online.
Historia deepfake'u
Na początku nie brakowało osób, które czuły się zastraszone technicznymi szczegółami związanymi z deepfake'iem, ale wszyscy wiedzieliśmy, że to bomba, która zaraz wybuchnie. Zakazy, cenzura, usunięte fora, wycofane filmy… nic nie powstrzymało entuzjastów. Projekty mnożyły się, a niektóre przynosiły bardzo interesujące rezultaty. Na przykład deepfake'i przyszły z pomocą filmowi „The Mummy Returns”, umożliwiając poprawę jego okropnego CGI, a inny użytkownik zdołał usunąć słynny „przeklęty wąs” Henry’ego Cavilla.
Projekt Wav2Lip
Dziś stajemy u bram Wav2Lip, projektu Rudrabhy Mukhopadhyaya, który stanowi podstawę badania «A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild», opublikowanego 23 sierpnia. W dużym uproszczeniu, celem jest dostosowanie fragmentu audio do dowolnego dostępnego wideo przy użyciu zaawansowanego procesu synchronizacji warg, bez poświęcania precyzji.
Co więcej, działa to z dowolną tożsamością, głosem i językiem, włączając w to syntetyczne głosy i twarze generowane komputerowo. Osoby odpowiedzialne za Wav2Lip udostępniły kilka filmów na YouTube, ale to użytkownicy potrafią wznieść te narzędzia na wyższy poziom. Mając to na uwadze, użytkownik „ontyj” na YouTube przyznaje, że dał się ponieść podczas testów z Wav2Lip i stworzył to cudo:
Interaktywne demo
Zainteresowany? Jeśli tak, mamy dla Ciebie dobre wieści. Wav2Lip ma interaktywne demo. Wystarczy, że wgrasz wideo (maksymalnie 20 sekund) i próbkę audio (ten sam limit 20 sekund). Przy odrobinie szczęścia wyniki będą zadowalające, ale jeśli chcesz synchronizować dłuższe filmy lub w wyższej rozdzielczości, będziesz musiał pobrać i użyć kodu samodzielnie.
Oficjalna strona: Kliknij tutaj Interaktywne demo: Kliknij tutaj
