De eerste keer dat we over deze mogelijkheid spraken, was in september vorig jaar. Het team van Runway presenteerde een voorproefje van hun nieuwe tool voor tekst-naar-video met kunstmatige intelligentie, wat leidde tot een eerste video-naar-videomodel genaamd Gen-1. Nu kondigt Runway de komst van de volgende generatiesprong aan: Gen-2. Deze versie belooft verschillende verwerkingsmodi en een groot gebruiksgemak.
Je stelt een prompt op, laadt die in het model, het model maakt wat fouten, je past de prompt aan en probeert het opnieuw. Alles wat je tot nu toe hebt gedaan, is woorden veranderen en herschikken. Zonder Photoshop of geavanceerde tools. Of het nu om Midjourney, DALL-E of Stable Diffusion gaat: het genereren van afbeeldingen met kunstmatige intelligentie wordt steeds eenvoudiger en nauwkeuriger.
Maar dat is slechts het topje van de ijsberg. Het genereren van video's met behulp van tekst komt er in hoog tempo aan, en we kunnen nu al tools uitproberen zoals ModelScope, beschikbaar via het HuggingFace-portaal. Maar een van de grote spelers op dit gebied is Runway, en met de aankondiging van hun nieuwe model Gen-2 krijgen gebruikers de mogelijkheid om clips van drie seconden te genereren, met acht verschillende verwerkingsmodi.
Runway Gen-2: van tekst naar video, zonder tussenstappen
- Text to Video is de eerste modus en, zoals de naam al suggereert, vraagt het alleen om een prompt om te beginnen.
- Text + Image to Video gebruikt naast de prompt ook een referentieafbeelding.
- Image to Video laat de invloed van de prompt achterwege en richt alle aandacht op de afbeelding.
- Stylization maakt de overdracht van een specifieke stijl naar elk frame van een bestaande video mogelijk.
- Storyboard is ideaal voor het verwerken van mockups (bijvoorbeeld om je een reeks boeken voor te stellen als gebouwen in een stad).
- Mask past wijzigingen toe op een specifiek object in een video.
- Render werkt als Image to Video, maar gebruikt 3D-animaties.
- Custom wijst op een meer geavanceerde training van het model.
Als je Gen-2 wilt uitproberen, moet je een account aanmaken bij Runway, hun profiel op Twitter volgen en wachten. De boodschap “coming soon” kan behoorlijk frustrerend zijn, maar Runway nam de tests van Gen-1 heel rustig, en er is geen reden om aan te nemen dat ze hun strategie veranderen.
Officiële site: Klik hier
