I modelli di intelligenza artificiale devono ancora risolvere alcuni dettagli al momento di generare immagini, ma nessuno può negare che hanno fatto passi da gigante, e hanno fatto molto rumore attraversando la frontiera del video. Tuttavia, le persone di Google Research hanno deciso di esplorare un altro potenziale per essi, cioè il loro uso come motore grafico. Il risultato è GameNGen, derivato dalla versione 1.4 di Stable Diffusion, e il gioco scelto per la prima simulazione è stato il Doom. Rip and tear, con modelli neurali.
Usare algoritmi per sviluppare videogiochi non ha nulla di nuovo. Ad esempio, la generazione procedurale è tra noi da decenni (da Elite nel 1984 fino ad Astroneer nel 2019, per citare due casi), e al di là delle sue inevitabili limitazioni, può dare buoni risultati nelle condizioni giuste.
Ovviamente, con la tempesta generativa sopra le nostre teste, non sono pochi quelli che cercano di adottare questa tecnologia per creare oggetti e/o texture, ma un team composto da membri di Google Research, Google DeepMind e dell'Università di Tel Aviv ha deciso di seguire un'altra strada: trasformare un modello generativo in un motore grafico che crea ambienti in tempo reale. Il suo nome? GameNGen.
GameNGen: modello di diffusione come motore grafico in tempo reale, con Doom
La pagina ufficiale spiega che GameNGen è il primo motore grafico alimentato da un modello neurale, il quale abilita un'interazione in tempo reale con spazi complessi, e mantiene una qualità (relativamente) costante attraverso tutta la sessione. Di fatto, GameNGen può simulare la versione classica di Doom con un frame rate di 20 FPS usando appena una TPU. In altre parole, questo motore grafico combina l'elaborazione dei frame precedenti con i comandi del giocatore per generare nuovi frame, senza perdere coesione. L'intero livello viene «costruito» attorno ad esso.
Il primo passo è stato addestrare un agente a «imparare» a giocare a Doom, con un sistema di punizioni (accumulo di danni e morti) e ricompense (raccogliere oggetti, uccidere nemici e completare il livello). Tuttavia, la cosa più notevole è che hanno riutilizzato Stable Diffusion 1.4 per il processo di generazione. Stable Diffusion non è particolarmente robusto nel mantenere la coerenza tra i frame, e tende a soffrire di «drifting», ma hanno risolto questo problema con frame contestuali, che hanno «contaminato» usando rumore gaussiano, dando origine a una sorta di «sistema di autocorrezione».
GameNGen è lontano dall'essere perfetto, e l'occhio esperto non tarderà a notare diversi artefatti (le sopracciglia e gli occhi del Doomguy sono un buon punto di partenza), ma come "simulazione" di Doom, non smette di essere impressionante.
Sito ufficiale e paper: Clicca qui. Fonte: Tom's Hardware.
