La première fois que nous avons parlé de cette possibilité, c'était en septembre de l'année dernière : les équipes de Runway ont présenté un aperçu de leur nouvel outil de texte en vidéo basé sur l'intelligence artificielle, ce qui a donné naissance à un premier modèle de vidéo en vidéo appelé Gen-1. Aujourd'hui, Runway annonce l'arrivée de la prochaine génération, Gen-2. Cette version promet plusieurs modes de traitement et une grande facilité d'utilisation.
Vous préparez un prompt. Vous le chargez dans le modèle. Le modèle commet quelques erreurs. Vous ajustez le prompt. Vous réessayez. Tout ce que vous avez fait jusqu'ici consiste à changer et à réorganiser des mots. Pas de Photoshop ni d'outils avancés. Qu'il s'agisse de Midjourney, DALL-E ou Stable Diffusion, la génération d'images par intelligence artificielle est de plus en plus simple et précise.
Cependant, ce n'est que la pointe de l'iceberg. La génération de vidéos à partir de texte approche à toute vitesse, et nous pouvons déjà tester des ressources comme ModelScope, disponible sur le portail HuggingFace. Mais l'un des grands joueurs dans ce domaine est Runway, et avec l'annonce de son nouveau modèle Gen-2, les utilisateurs auront la possibilité de générer des clips de trois secondes, avec huit modes de traitement différents.
Runway Gen-2 : du texte en vidéo, sans escale
Text to Video est le premier mode, et comme son nom l'indique, il ne demande qu'un prompt de texte pour commencer. Ensuite vient Text + Image to Video, qui utilise également une image de référence en plus du prompt. Image to Video élimine l'influence du prompt pour concentrer toute l'attention sur l'image, et Stylization permet le transfert d'un style spécifique à chaque image d'une vidéo existante.
Storyboard est idéal pour traiter des maquettes (par exemple, imaginer une série de livres comme des bâtiments dans une ville), Mask applique des modifications à un objet spécifique dans une vidéo, Render est comme Image to Video mais utilise des animations 3D, et Custom nous parle d'un entraînement plus avancé pour le modèle.
Si vous souhaitez essayer Gen-2, vous devrez créer un compte sur Runway, suivre son profil sur Twitter, et patienter. Le « coming soon » peut être un peu frustrant, mais Runway a pris les tests de Gen-1 avec beaucoup de calme, et il n'y a aucune raison pour qu'il change sa stratégie.
Site officiel : Cliquez ici
