Es ist nur eine Frage der Zeit, wir alle wissen das. Die Videogenerierung mit künstlicher Intelligenz befindet sich in einem grundlegenden, fast primitiven Zustand … aber dasselbe sagte man vor einem Jahr über die Bildgenerierung, und heute können wir nicht aufhören, ihre Algorithmen zu verwenden. Kürzlich teilte das Unternehmen Runway einen Teaser über YouTube und Twitter, der das Potenzial seines Tools Text to Video vorwegnimmt. Die Demo sieht sehr gut aus … aber was können wir im echten Leben erwarten?
Die Bildgenerierung mit künstlicher Intelligenz kann je nach verwendetem Algorithmus zu enormen Unterschieden führen, aber im Allgemeinen funktionieren alle auf die gleiche Weise: Zuerst beschreiben wir, was wir wollen (ein Porträt, eine Landschaft usw.), und dann fügen wir sekundäre Elemente hinzu, die als Einfluss oder Inspirationsquelle dienen, wie den Namen eines Künstlers, ein bestimmtes Genre, einen Malstil und sogar den Namen einer Kamera.
Stellen Sie sich das nun beim Erstellen von Videos vor. Wir betreten den Editor und bitten um eine Stadt mit viel Verkehr. Dann fordern wir ein Taxi, das gegen eine Ampel gekracht ist, und schließlich den Grund des Unfalls: Ein riesiger Dinosaurier, der vorbeirennt.
Natürlich kann ein Video-Editor-Experte das heute mit dem richtigen Budget tun, aber die Leute von Runway deuten an, dass jeder Benutzer in Zukunft ähnliche Ergebnisse mit ihrem neuen Tool Text to Video erzielen könnte.
Runway Text to Video: Videos mit künstlicher Intelligenz und Text erstellen
Die Straße einer Stadt, ein filmischer Filter, ein Laternenpfahl, der wie durch Zauberei verschwindet. Ein wunderschöner Garten, mehrere Bilder, dynamische Texteinblendung. Ein grüner Charakter, ein unscharfer Hintergrund in Echtzeit und ein Hauch von Robert Capa als Würze. Der Teaser ist kurz, verspricht aber viel und hilft uns auch, die Vision von Runway zu definieren. Statt einen unabhängigen, frei zugänglichen Algorithmus zu trainieren, scheint das Unternehmen auf die Entwicklung eines fortschrittlicheren Editors mit integrierter Text-zu-Video-Funktion abzuzielen.
Wenn du am Early Access teilnehmen möchtest, musst du nur die offizielle Seite besuchen und ein Formular ausfüllen. All dies wirft jedoch eine Frage auf: Wie sollen sie ein solches Modell trainieren? Derzeit gibt es nichts Vergleichbares zu LAION-5B für Videos, und der erforderliche Rechenaufwand ist immens. Wir werden abwarten …
Quellen: Runway, Ars Technica
