Les modèles d'intelligence artificielle doivent encore résoudre certains détails pour générer des images, mais personne ne peut nier qu'ils ont avancé à pas de géant, et qu'ils ont fait beaucoup de bruit en franchissant la frontière de la vidéo. Cependant, les chercheurs de Google Research ont décidé d'explorer un autre potentiel : leur utilisation comme moteur graphique. Le résultat est GameNGen, dérivé de la version 1.4 de Stable Diffusion… et le jeu choisi pour la première simulation est Doom. Rip and tear, avec des modèles neuronaux.
Utiliser des algorithmes pour développer des jeux vidéo n'a rien de nouveau. Par exemple, la génération procédurale existe depuis des décennies (depuis Elite en 1984 jusqu'à Astroneer en 2019, pour citer deux exemples), et au-delà de ses limites inévitables, elle peut donner de bons résultats dans les bonnes conditions.
Évidemment, avec la tempête générative au-dessus de nos têtes, ils sont nombreux à chercher à adopter cette technologie pour créer des objets ou des textures, mais une équipe composée de membres de Google Research, Google DeepMind et de l'Université de Tel Aviv a décidé de suivre une autre voie : transformer un modèle génératif en moteur graphique qui crée des environnements en temps réel. Son nom ? GameNGen.
GameNGen : un modèle de diffusion comme moteur de jeu en temps réel, avec Doom
La page officielle explique que GameNGen est le premier moteur graphique alimenté par un modèle neuronal, qui permet une interaction en temps réel avec des environnements complexes et maintient une qualité (relativement) constante tout au long de la session. En fait, GameNGen peut simuler la version classique de Doom à 20 FPS en utilisant simplement un TPU. Autrement dit, ce moteur graphique combine le traitement des frames précédents avec les commandes du joueur pour générer de nouvelles frames, sans perdre en cohérence. Tout le niveau est « construit » autour de cela.
La première étape a été d'entraîner un agent à « apprendre » à jouer à Doom, avec un système de punitions (accumulation de dégâts et morts) et de récompenses (ramasser des objets, tuer des ennemis et terminer le niveau). Cependant, le plus remarquable est qu'ils ont réutilisé Stable Diffusion 1.4 pour le processus de génération. Stable Diffusion n'est pas particulièrement robuste pour maintenir sa cohérence entre les frames et tend à souffrir de « drifting », mais ils ont résolu ce problème avec des frames contextuels, qu'ils ont « contaminés » en utilisant du bruit gaussien, donnant lieu à une sorte de « système d'auto-correction ».
GameNGen est loin d'être parfait, et un œil averti ne tardera pas à détecter différents artefacts (les sourcils et les yeux du Doomguy sont un bon point de départ), mais en tant que « simulation » de Doom, cela reste impressionnant.
Site officiel et papier : Cliquez ici
Source : Tom's Hardware
