In einer von Fake News durchsetzten Zeit hat sich das Konzept des Deepfake endgültig etabliert. Einige nutzten die Technik, um berühmte Persönlichkeiten zu feiern, während andere versuchten, sie zu entkleiden. Was kommt als Nächstes? Derzeit lassen sich Musikvideos aus vielen kurzen Clips erstellen, die per Lippen-Synchronisation verarbeitet werden. Möglich macht das das Open-Source-System Wav2Lip, das bereits über eine interaktive Online-Demo verfügt.
Anfangs waren viele von den technischen Details eines Deepfake eingeschüchtert, doch wir wussten, dass dies eine Bombe war, die gleich explodieren würde. Verbote, Zensur, gelöschte Foren, zurückgezogene Videos – nichts konnte die Enthusiasten stoppen. Die Projekte vervielfachten sich, und einige lieferten bemerkenswerte Ergebnisse. Beispielsweise kamen Deepfakes bei „The Mummy Returns“ zur Rettung, indem sie die Optimierung des schrecklichen CGI ermöglichten, und ein anderer Nutzer schaffte es, den berüchtigten „verfluchten Schnurrbart“ von Henry Cavill zu entfernen.
Wav2Lip: Das Projekt
Und heute stehen wir vor Wav2Lip, einem Projekt von Rudrabha Mukhopadhyay, das als Grundlage für die Studie «A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild» dient, veröffentlicht am 23. August. In lockeren Worten: Ziel ist es, ein Audio an ein beliebiges Video anzupassen, mit einem fortschrittlichen Prozess der Lippen-Synchronisation, ohne an Präzision zu verlieren.
Und als ob das nicht genug wäre: Das funktioniert mit jeder Identität, Stimme und Sprache, einschließlich synthetischer Stimmen und computergenerierter Gesichter. Die Verantwortlichen von Wav2Lip haben mehrere Videos auf YouTube geteilt, aber es sind die Nutzer, die diese Werkzeuge auf ein neues Niveau heben. So gibt der Nutzer „ontyj“ auf YouTube zu, dass er sich bei seinen Tests mit Wav2Lip hat hinreißen lassen und dieses Meisterwerk erschaffen hat:
Die interaktive Demo
Interessiert? Dann haben wir gute Nachrichten für dich. Wav2Lip verfügt über eine interaktive Demo. Du musst nur ein Video (maximal 20 Sekunden) und eine Audio-Probe (ebenfalls 20 Sekunden) hochladen. Mit etwas Glück sind die Ergebnisse zufriedenstellend, aber wenn du längere Videos oder höhere Auflösungen synchronisieren möchtest, musst du den Code selbst herunterladen und verwenden.
Offizielle Website: Klicken Sie hier
Interaktive Demo: Klicken Sie hier
