Die Beziehung zwischen künstlicher Intelligenz und Filmwelt ist angespannt – aber unvermeidlich. Wir haben bereits Deepfakes, Sprachsynthese, Akzentkorrektur, digitale Verjüngung, und jetzt ist es an der Reihe des „visuellen Dubbings“. Was bedeutet das? Jemand kann einen Film in einer bestimmten Sprache drehen, die Synchronisation in eine andere vorbereiten und dann die Lippenbewegungen mithilfe künstlicher Intelligenz verändern und synchronisieren. Die schwedische Produktion Watch the Skies aus dem Jahr 2022 wurde als „die erste“ mit dieser Technologie vorgestellt und kommt am 9. Mai in die US-Kinos.
Film und Fernsehen haben uns mehrere Fälle von unreifer oder schlecht angewendeter CGI und KI beschert. Nicht weit entfernt sind die Deepfakes in Rogue One und der zweiten Staffel von The Mandalorian ziemlich schwach, aber der Deepfake von Luke in The Book of Boba Fett war ein riesiger Qualitätssprung, Tom Hanks und Robin Wright verloren in Here mehrere Jahrzehnte an Alter, und The Brutalist (das drei Oscars gewann) erhielt eine KI-Behandlung, um „den ungarischen Akzent zu optimieren“.
Kurz gesagt, die Technologie verbessert sich so sehr, dass SAG-AFTRA 2023 fast vier Monate streikte, um ihre Mitglieder „vor der Bedrohung durch KI“ zu schützen, und ihr Anliegen im Bereich Videospiele setzt sich fort (seit Juli 2024 bis heute). Aber was passiert, wenn die Schauspieler selbst am generativen Prozess teilnehmen? Die Antwort ist so etwas wie Watch the Skies, eine schwedische Produktion aus dem Jahr 2022, die „visuelles Dubbing“ ins Englische einsetzt:
Watch the Skies: Vom Schwedischen ins Englische mit KI
Ab dem 9. Mai wird AMC eine alternative Ausgabe von Watch the Skies mit zwei wichtigen Änderungen in ihren Kinos zeigen: Englischer Dialog, aufgenommen von den Originalschauspielern, und die Synchronisation ihrer Lippenbewegungen im Film. Möglich wurde dies durch die TrueSync-Technologie des Unternehmens Flawless, die die Schwierigkeit bestimmter ausländischer Produktionen beim Eintritt in neue Märkte verringern soll. Das gilt besonders für die USA, wo die Ablehnung von Untertiteln weit verbreitet ist. Ich erinnere mich noch an Bong Joon-ho, Regisseur von Parasite, der das Publikum bei den Golden Globes einlud, „die Ein-Zoll-Barriere der Untertitel zu überwinden“ – ohne großen Erfolg.
Das Portal Variety berichtet, dass das Tool TrueSync mit den neuen Anforderungen von SAG-AFTRA kompatibel ist, aber es wird sehr interessant sein, das Wort der Gewerkschaft zu hören, sobald Watch the Skies (Originaltitel UFO Sweden) auf hundert AMC-Leinwände kommt. Wie gut funktioniert es? Logischerweise hat Flawless die besten Bilder ausgewählt, um seine Technologie zu präsentieren, aber der vollständige Trailer sollte in den nächsten Tagen erscheinen. Radar an.
