De modellen van kunstmatige intelligentie moeten nog enkele details oplossen bij het genereren van afbeeldingen, maar niemand kan ontkennen dat ze met sprongen vooruit zijn gegaan en veel stof hebben doen opwaaien bij het overschrijden van de videogrens. Toch besloot Google Research een ander potentieel voor hen te verkennen: het gebruik als grafische motor. Het resultaat is GameNGen, afgeleid van versie 1.4 van Stable Diffusion… en het spel dat voor de eerste simulatie werd gekozen was Doom. Rip and tear, met neurale modellen.
Het gebruik van algoritmen om videogames te ontwikkelen is niets nieuws. Procesgeneratie is bijvoorbeeld al tientallen jaren bij ons (van Elite in 1984 tot Astroneer in 2019, om twee voorbeelden te noemen), en afgezien van de onvermijdelijke beperkingen kan het onder de juiste omstandigheden goede resultaten opleveren.
Uiteraard zijn er met de generatieve storm boven ons hoofd niet weinigen die die technologie willen gebruiken om objecten en/of texturen te creëren, maar een team bestaande uit leden van Google Research, Google DeepMind en de Universiteit van Tel Aviv koos een andere weg: een generatief model transformeren tot een grafische motor die real-time omgevingen creëert. De naam? GameNGen.
GameNGen: diffusiemodel als realtime 'game engine', ft. Doom
De officiële pagina legt uit dat GameNGen de eerste grafische motor is die wordt aangedreven door een neuraal model, dat real-time interactie met complexe ruimtes mogelijk maakt en een (relatief) constante kwaliteit behoudt gedurende de hele sessie. Sterker nog, GameNGen kan de klassieke versie van Doom simuleren met een framerate van 20 FPS met slechts één TPU. Met andere woorden, deze grafische motor combineert de verwerking van eerdere frames met de commando's van de speler om nieuwe frames te genereren, zonder coherentie te verliezen. De hele level wordt eromheen 'gebouwd'.
De eerste stap was het trainen van een agent om Doom te 'leren' spelen, met een systeem van straffen (oplopen van schade en sterfgevallen) en beloningen (items verzamelen, vijanden doden en het level uitspelen). Het meest opvallende is echter dat ze Stable Diffusion 1.4 opnieuw gebruikten voor het generatieproces. Stable Diffusion is niet bijzonder robuust als het gaat om het behouden van consistentie tussen frames en heeft de neiging tot 'drifting', maar ze losten dat probleem op met contextuele frames, die ze 'vervuilde' met Gaussiaanse ruis, wat leidt tot een soort 'zelfcorrectiesysteem'.
GameNGen is verre van perfect, en het geoefende oog zal niet lang nodig hebben om verschillende artefacten op te merken (de wenkbrauwen en ogen van de Doomguy zijn een goed startpunt), maar als 'simulatie' van Doom blijft het indrukwekkend.
Officiële site en paper: Klik hier.
Bron: Tom's Hardware.
