Dans une époque ravagée par les fake news, le concept de deepfake est là pour rester. Dans certains cas, ils n'ont fait que célébrer certaines figures célèbres, tandis que dans d'autres, ils ont tenté de les dénuder. Quelle est la prochaine étape ? Pour l'instant, créer des vidéos musicales en utilisant plusieurs extraits traités avec synchronisation labiale. C'est possible grâce au système Wav2Lip, qui, en plus d'être open source, dispose déjà d'une démo interactive en ligne.
Au début, ils étaient nombreux à être intimidés par les détails techniques du deepfake, mais nous savions tous à ce moment-là que c'était une bombe à retardement. Interdictions, censure, forums supprimés, vidéos retirées... rien n'a arrêté les passionnés. Les projets se sont multipliés, et certains ont donné des résultats très intéressants. Par exemple, des deepfakes ont pu venir à la rescousse de « The Mummy Returns », en permettant d'optimiser son horrible CGI, et un autre utilisateur a réussi à effacer la fameuse « moustache maudite » de Henry Cavill.
Wav2Lip, la synchronisation labiale en quelques clics
Et aujourd'hui, nous arrivons aux portes de Wav2Lip, un projet de Rudrabha Mukhopadhyay qui sert de base à l'étude « A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild », publiée le 23 août dernier. En termes simples, l'objectif est d'adapter un morceau audio à n'importe quelle vidéo disponible grâce à un processus avancé de synchronisation labiale, sans sacrifier la précision.
Comme si cela ne suffisait pas, cela fonctionne avec n'importe quelle identité, voix et langue, y compris les voix synthétiques et les visages générés par ordinateur. Les responsables de Wav2Lip ont partagé plusieurs vidéos sur YouTube, mais ce sont les utilisateurs qui élèvent ces outils à un autre niveau. Cela dit, l'utilisateur « ontyj » sur YouTube admet s'être laissé emporter lors de ses tests avec Wav2Lip, et a fini par créer cette merveille :
Intéressé ? Si c'est le cas, nous avons de bonnes nouvelles pour vous. Wav2Lip dispose d'une démo interactive. Tout ce que vous avez à faire est de charger une vidéo (20 secondes maximum) et un échantillon audio (même limite de 20 secondes). Avec un peu de chance, les résultats seront satisfaisants, mais si vous souhaitez synchroniser des vidéos plus longues ou avec une meilleure résolution, vous devrez télécharger et utiliser le code vous-même.
Site officiel : Cliquez ici
Démo interactive : Cliquez ici
