Ce n'est qu'une question de temps, nous le savons tous. La génération de vidéo par intelligence artificielle en est à un stade basique, presque primitif… mais on disait la même chose de la génération d'images il y a un an, et aujourd'hui nous ne pouvons plus nous passer de ses algorithmes. Récemment, la société Runway a partagé un teaser via YouTube et Twitter, anticipant le potentiel de son outil Text to Video. La démo semble très bonne… mais que pouvons-nous attendre dans la vie réelle ?
La génération d'images par intelligence artificielle peut donner lieu à d'énormes différences selon l'algorithme utilisé, mais en général ils fonctionnent tous de la même manière : d'abord on décrit ce que l'on veut (un portrait, un paysage, etc.), puis on ajoute des éléments secondaires qui servent d'influence ou de source d'inspiration, comme le nom d'un artiste, un genre spécifique, un style de peinture, et même le nom d'un appareil photo.
Maintenant, imaginons cela lors de la création de vidéo. On entre dans l'éditeur et on demande une ville avec beaucoup de circulation. Ensuite on demande un taxi encastré contre un feu rouge, et enfin la raison de l'accident : un dinosaure géant qui passe en courant. Bien sûr, un expert en montage vidéo peut faire cela aujourd'hui avec le budget adéquat, mais les gens de chez Runway suggèrent que n'importe quel utilisateur pourrait obtenir des résultats similaires à l'avenir grâce à leur nouvel outil, Text to Video.
Runway Text to Video : créer des vidéos avec intelligence artificielle et texte
La rue d'une ville, un filtre cinématique, un lampadaire qui disparaît comme par magie. Un magnifique jardin, des images multiples, une injection dynamique de texte. Un personnage « vert », un fond flou en temps réel, et une touche de Robert Capa comme assaisonnement. Le teaser est court mais promet beaucoup, et nous aide aussi à définir la vision de Runway. Au lieu d'entraîner un algorithme indépendant en libre accès, l'entreprise semble viser le développement d'un éditeur plus avancé avec la fonction intégrée de texte à vidéo.
Si vous voulez faire partie de l'accès anticipé, tout ce que vous avez à faire est de visiter la page officielle et de remplir un formulaire. Cependant, tout cela soulève une question : comment vont-ils entraîner un tel modèle ? Actuellement, il n'y a rien de similaire à LAION-5B pour la vidéo, et le niveau de traitement requis est immense. Nous attendrons…
Sources : Runway, Ars Technica
