Watch the Skies: Een film met 'visuele dubbing' op basis van AI
Watch the Skies: een film met 'visuele dubbing' die gebruikmaakt van kunstmatige intelligentie

De relatie tussen kunstmatige intelligentie en de filmwereld is gespannen, maar onvermijdelijk. We hebben al deepfakes, spraaksynthese, accentcorrectie, digitale verjonging, en nu is het de beurt aan visuele dubbing. Wat betekent dat? Iemand kan een film in een specifieke taal opnemen, de nasynchronisatie naar een andere taal voorbereiden en vervolgens de lipbewegingen met AI aanpassen of synchroniseren. De Zweedse productie Watch the Skies uit 2022 wordt gepresenteerd als de eerste met deze technologie en komt op 9 mei naar de Amerikaanse bioscopen.

Film en televisie hebben ons meerdere gevallen van onvolwassen of slecht toegepaste CGI en AI geschonken. Zo waren de deepfakes in Rogue One en het tweede seizoen van The Mandalorian nogal mager, maar de deepfake van Luke in The Book of Boba Fett was een gigantische kwaliteitssprong. Tom Hanks en Robin Wright verloren enkele decennia in Here, en The Brutalist (dat drie Oscars won) kreeg een AI-behandeling om het Hongaarse accent te optimaliseren van de hoofdpersonages.

Kortom, de technologie wordt beter… zo erg zelfs dat SAG-AFTRA in 2023 een staking van bijna vier maanden hield om haar leden te beschermen van de dreiging van AI, en het geschil in de videogamesector (sinds juli 2024 tot nu) duurt nog voort. Maar wat gebeurt er als de acteurs zelf deelnemen aan het generatieve proces? Het antwoord is zoiets als Watch the Skies, een Zweedse productie uit 2022, die visuele dubbing naar het Engels gebruikt:

Watch the Skies: Van Zweeds naar Engels met AI

Vanaf 9 mei brengt AMC een alternatieve editie van Watch the Skies naar de bioscopen met twee belangrijke wijzigingen: Engelstalige dialogen ingesproken door de originele acteurs en synchronisatie van hun lipbewegingen in de film. Dit was mogelijk dankzij de TrueSync-technologie van het bedrijf Flawless, die de moeilijkheid van bepaalde buitenlandse producties om nieuwe markten te betreden wil verminderen. Dat geldt vooral in de Verenigde Staten, waar de afwijzing van ondertiteling wijdverbreid is. Ik herinner me nog dat Bong Joon-ho, regisseur van Parasite, het publiek bij de Golden Globes uitnodigde om de barrière van één inch te overwinnen van de ondertitels, zonder al te veel succes.

Variety meldt dat de TrueSync-tool compatibel is met de nieuwe eisen van SAG-AFTRA, maar het zal erg interessant zijn om de uitspraak van de vakbond te horen zodra Watch the Skies (oorspronkelijke titel UFO Sweden) op honderd schermen van AMC verschijnt. Hoe goed werkt het? Logischerwijs koos Flawless de beste beelden om de technologie te tonen, maar de volledige trailer zou de komende dagen moeten verschijnen. Radar aan.