Po raz pierwszy pisaliśmy o tej możliwości we wrześniu ubiegłego roku: ludzie z Runway zaprezentowali zapowiedź swojego nowego narzędzia do zamiany tekstu na wideo opartego na sztucznej inteligencji, co zaowocowało początkowym modelem wideo-na-wideo o nazwie Gen-1. Teraz Runway zapowiada nadejście kolejnego skoku generacyjnego, Gen-2. Ta wersja obiecuje kilka trybów przetwarzania i dużą łatwość obsługi.
Przygotowujesz prompt. Ładujesz go do modelu. Model popełnia błędy. Dopasowujesz prompt. Próbujesz ponownie. Wszystko, co do tej pory zrobiłeś, to zmienianie i przestawianie słów. Bez Photoshopa ani zaawansowanych narzędzi. Niezależnie od tego, czy chodzi o Midjourney, DALL-E czy Stable Diffusion: generowanie obrazów za pomocą sztucznej inteligencji jest coraz prostsze i precyzyjniejsze.
To jednak tylko wierzchołek góry lodowej. Generowanie wideo za pomocą tekstu zbliża się wielkimi krokami, a właściwie możemy już wypróbować narzędzia takie jak ModelScope, dostępne na portalu HuggingFace. Ale jednym z ważnych graczy w tej dziedzinie jest Runway, a wraz z ogłoszeniem nowego modelu Gen-2 użytkownicy będą mieli możliwość generowania trzech sekund klipów, w ośmiu różnych trybach przetwarzania.
Runway Gen-2: od tekstu do wideo bezpośrednio
Text to Video jest pierwszym z trybów i, jak sama nazwa wskazuje, do rozpoczęcia potrzebuje jedynie promptu tekstowego. Następnie mamy Text + Image to Video, który oprócz promptu wykorzystuje również obraz referencyjny. Image to Video eliminuje wpływ promptu, skupiając całą uwagę na obrazie, a Stylization umożliwia przeniesienie konkretnego stylu na każdą klatkę istniejącego wideo.
Storyboard idealnie nadaje się do przetwarzania makiet (na przykład wyobrażania sobie serii książek jako budynków w mieście), Mask stosuje modyfikacje do konkretnego obiektu w wideo, Render działa jak Image to Video, ale wykorzystuje animacje 3D, a Custom mówi o bardziej zaawansowanym trenowaniu modelu.
Jeśli jesteś zainteresowany wypróbowaniem Gen-2, musisz utworzyć konto w Runway, obserwować ich profil na Twitterze i czekać. „Coming soon” może być nieco frustrujące, ale Runway bardzo spokojnie podchodziła do testów Gen-1 i nie ma powodów, by zmieniać strategię.
Oficjalna strona: Kliknij tutaj
