In een tijdperk dat overspoeld wordt door fake news, is het concept van deepfake gekomen om te blijven. In sommige gevallen deden ze niets anders dan bepaalde beroemde figuren vieren, terwijl ze in andere probeerden ze uit te kleden. Wat staat er nu op de lijst? Op dit moment het maken van muziekvideo's met behulp van meerdere clips verwerkt met lipsynchronisatie. Dit is mogelijk dankzij het systeem Wav2Lip, dat naast open source ook al een interactieve demo online heeft.
In het begin waren er velen die zich geïntimideerd voelden door de technische details die gepaard gaan met een deepfake, maar op dat moment wisten we allemaal dat het een bom was die op ontploffen stond. Verboden, censuur, verwijderde forums, teruggetrokken video's... niets hield de enthousiastelingen tegen. De projecten vermenigvuldigden zich, en sommige leverden zeer interessante resultaten op. Zo kwamen de deepfakes te hulp aan The Mummy Returns, door het mogelijk te maken de verschrikkelijke CGI te optimaliseren, en een andere gebruiker slaagde erin de beroemde «vervloekte snor» van Henry Cavill te wissen.
En vandaag komen we aan bij Wav2Lip, een project van Rudrabha Mukhopadhyay dat dient als basis voor de studie «A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild», gepubliceerd op 23 augustus. In losse bewoordingen is het doel om een stukje audio aan te passen aan elke beschikbare video met een geavanceerd lipsynchronisatieproces, zonder aan precisie in te boeten.
Alsof dat nog niet genoeg is, werkt dit met elke identiteit, stem en taal, inclusief synthetische stemmen en door de computer gegenereerde gezichten. De verantwoordelijken van Wav2Lip hebben verschillende video's op YouTube gedeeld, maar het zijn de gebruikers die erin slagen deze tools naar een hoger niveau te tillen. Dat gezegd zijnde, geeft de gebruiker «ontyj» op YouTube toe dat hij zich liet meeslepen tijdens zijn tests met Wav2Lip, en uiteindelijk dit wonder creëerde:
Geïnteresseerd? Zo ja, dan hebben we goed nieuws voor je. Wav2Lip beschikt over een interactieve demo. Het enige dat je hoeft te doen is een video uploaden (maximaal 20 seconden) en een audiovoorbeeld (zelfde limiet van 20 seconden). Met een beetje geluk zijn de resultaten bevredigend, maar als je langere video's of met een hogere resolutie wilt synchroniseren, zul je de code zelf moeten downloaden en gebruiken.
Officiële site: Klik hier
Interactieve demo: Klik hier
