Os modelos de inteligência artificial ainda precisam resolver certos detalhes na hora de gerar imagens, mas ninguém pode negar que deram passos gigantescos, e fizeram muito barulho ao cruzar a fronteira do vídeo. No entanto, a equipe do Google Research decidiu explorar outro potencial para eles: o uso como motor gráfico. O resultado é o GameNGen, derivado da versão 1.4 do Stable Diffusion... e o jogo escolhido para a primeira simulação foi o Doom. Rip and tear, com modelos neurais.
Utilizar algoritmos para desenvolver videogames não tem nada de novo. Por exemplo, a geração procedural está entre nós há décadas (desde Elite em 1984 até Astroneer em 2019, para citar dois casos), e além de suas limitações inevitáveis, a verdade é que pode fornecer bons resultados sob as condições certas.
Obviamente, com a tempestade generativa sobre nossas cabeças, não são poucos os que buscam adotar essa tecnologia para criar objetos e/ou texturas, mas uma equipe composta por membros do Google Research, Google DeepMind e Universidade de Tel Aviv decidiu seguir outro caminho: transformar um modelo generativo em um motor gráfico que cria ambientes em tempo real. Qual o nome? GameNGen.
GameNGen: Modelo de difusão como 'game engine' em tempo real, ft. Doom
A página oficial explica que o GameNGen é o primeiro motor gráfico alimentado por um modelo neural, que permite interação em tempo real com espaços complexos e mantém uma qualidade (relativamente) constante durante toda a sessão. De fato, o GameNGen pode simular a versão clássica do Doom com uma taxa de quadros de 20 FPS usando apenas um TPU. Em outras palavras, esse motor gráfico combina o processamento de frames anteriores com os comandos do jogador para gerar novos frames, sem perder coesão. Todo o nível é "construído" ao redor disso.
O primeiro passo foi treinar um agente para que "aprenda" a jogar Doom, com um sistema de punições (acúmulo de dano e mortes) e recompensas (coletar objetos, matar inimigos e terminar o nível). No entanto, o mais notável é que eles reutilizaram o Stable Diffusion 1.4 para o processo de geração. O Stable Diffusion não é particularmente robusto para manter a consistência entre frames e tende a sofrer "drifting", mas eles resolveram esse problema com quadros contextuais, "contaminados" com ruído gaussiano, dando origem a uma espécie de "sistema de autocorreção".
O GameNGen está longe de ser perfeito, e o olho treinado não tardará em detectar vários artefatos (as sobrancelhas e os olhos do Doomguy são um bom ponto de partida), mas como "simulação" do Doom, não deixa de ser impressionante.
Site oficial e paper: Clique aqui | Fonte: Tom's Hardware.
