KI-Modelle müssen immer noch einige Details lösen, wenn es um die Bilderzeugung geht, aber niemand kann leugnen, dass sie riesige Fortschritte gemacht haben und viel Aufsehen erregten, als sie die Grenze zum Video überschritten. Doch die Leute von Google Research beschlossen, ein anderes Potenzial für sie zu erkunden: ihre Verwendung als Grafik-Engine. Das Ergebnis ist GameNGen, abgeleitet von Version 1.4 von Stable Diffusion … und das für die erste Simulation gewählte Spiel war Doom. Rip and tear, mit neuronalen Modellen.
Die Verwendung von Algorithmen zur Entwicklung von Videospielen ist nichts Neues. Zum Beispiel gibt es die prozedurale Generierung seit Jahrzehnten (von Elite 1984 bis Astroneer 2019, um zwei Beispiele zu nennen), und trotz ihrer unvermeidlichen Einschränkungen kann sie unter den richtigen Bedingungen gute Ergebnisse liefern.
Natürlich, mit dem generativen Sturm über unseren Köpfen, suchen viele danach, diese Technologie zu übernehmen, um Objekte und/oder Texturen zu erstellen, aber ein Team aus Mitgliedern von Google Research, Google DeepMind und der Universität Tel Aviv entschied sich für einen anderen Weg: Ein generatives Modell in eine Grafik-Engine zu verwandeln, das Umgebungen in Echtzeit erstellt. Wie heißt es? GameNGen.
GameNGen: Diffusionsmodell als Echtzeit-‚Game Engine‘, ft. Doom
Die offizielle Seite erklärt, dass GameNGen die erste von einem neuronalen Modell betriebene Grafik-Engine ist, die eine Echtzeit-Interaktion mit komplexen Räumen ermöglicht und eine (relativ) konstante Qualität während der gesamten Sitzung beibehält. Tatsächlich kann GameNGen die klassische Version von Doom mit einer Bildrate von 20 FPS simulieren, und das mit nur einem TPU. Mit anderen Worten: Diese Grafik-Engine kombiniert die Verarbeitung früherer Frames mit den Befehlen des Spielers, um neue Frames zu erzeugen, ohne die Kohärenz zu verlieren. Die gesamte Ebene wird „aufgebaut“ um ihn herum.
Der erste Schritt bestand darin, einen Agenten zu trainieren, der das Spielen von Doom „lernt“, mit einem System aus Strafen (das Anhäufen von Schaden und Tode) und Belohnungen (Objekte einsammeln, Feinde töten und das Level abschließen). Das Bemerkenswerteste ist jedoch, dass sie Stable Diffusion 1.4 für den Generierungsprozess wiederverwendet haben. Stable Diffusion ist nicht besonders robust, wenn es darum geht, die Konsistenz zwischen Frames aufrechtzuerhalten, und neigt zu „Drift“, aber sie haben dieses Problem mit kontextuellen Frames gelöst, die sie mit Gaußschem Rauschen „kontaminiert“ haben, was zu einer Art „Selbstkorrektursystem“ führt.
GameNGen ist weit davon entfernt, perfekt zu sein, und das geschulte Auge wird schnell verschiedene Artefakte erkennen (die Augenbrauen und Augen des Doomguy sind ein guter Ausgangspunkt), aber als „Simulation“ von Doom ist es trotzdem beeindruckend.
Offizielle Website und Paper: Hier klicken Quelle: Tom's Hardware
