Das erste Mal haben wir über diese Möglichkeit im September letzten Jahres gesprochen: Die Leute von Runway stellten eine Vorschau ihres neuen Tool zur Text-zu-Video-Generierung mit künstlicher Intelligenz vor, was zu einem ersten Modell für Video-zu-Video namens Gen-1 führte. Jetzt kündigt Runway den nächsten Generationssprung an, Gen-2. Diese Version verspricht mehrere Verarbeitungsmodi und eine große Benutzerfreundlichkeit.
Du bereitest einen Prompt vor. Du lädst ihn in das Modell. Das Modell macht einige Fehler. Du passt den Prompt an. Du versuchst es erneut. Alles, was du bisher getan hast, ist Wörter zu ändern und neu anzuordnen. Ohne Photoshop oder fortgeschrittene Werkzeuge. Egal ob Midjourney, DALL-E oder Stable Diffusion: Die Generierung von Bildern mit künstlicher Intelligenz wird immer einfacher und präziser.
Das ist jedoch nur die Spitze des Eisbergs. Die Generierung von Videos mit Text nähert sich mit rasender Geschwindigkeit, und tatsächlich können wir bereits Ressourcen wie ModelScope, verfügbar auf dem HuggingFace-Portal ausprobieren. Aber einer der großen Akteure auf diesem Gebiet ist Runway, und mit der Ankündigung von seinem neuen Modell Gen-2 werden die Nutzer die Möglichkeit haben, drei Sekunden lange Clips zu generieren, mit acht verschiedenen Verarbeitungsmodi.
Runway Gen-2: Von Text zu Video, ohne Umwege
Text to Video ist der erste der Modi und benötigt, wie der Name schon sagt, nur einen Text-Prompt. Es folgt Text + Image to Video, das zusätzlich zum Prompt auch ein Referenzbild verwendet. Image to Video eliminiert den Einfluss des Prompts und konzentriert sich ganz auf das Bild, und Stylization ermöglicht die Übertragung eines bestimmten Stils auf jedes Bild eines vorhandenen Videos.
Storyboard ist ideal für die Verarbeitung von Mockups (zum Beispiel, sich eine Reihe von Büchern als Gebäude in einer Stadt vorzustellen), Mask wendet Änderungen an einem bestimmten Objekt innerhalb eines Videos an, Render funktioniert wie Image to Video, verwendet jedoch 3D-Animationen, und Custom spricht von einem fortgeschritteneren Training für das Modell.
Wenn du daran interessiert bist, Gen-2 auszuprobieren, musst du ein Konto bei Runway erstellen, ihrem Profil auf Twitter folgen und warten. Das „coming soon“ kann etwas frustrierend sein, aber Runway hat die Tests von Gen-1 sehr gelassen angegangen, und es gibt keinen Grund, warum es seine Strategie ändern sollte.
Offizielle Website: Klicke hier
