Modele sztucznej inteligencji wciąż muszą rozwiązać pewne szczegóły podczas generowania obrazów, ale nikt nie zaprzeczy, że poczyniły ogromne postępy i narobiły sporo hałasu, przekraczając granicę wideo. Jednak ludzie z Google Research postanowili zbadać inny ich potencjał – jako silnika graficznego. Rezultatem jest GameNGen, wywodzący się z wersji 1.4 Stable Diffusion… a grą wybraną do pierwszej symulacji był Doom. Rozerwij i poszarpuj z modelami neuronowymi.
Wykorzystywanie algorytmów do tworzenia gier wideo nie jest niczym nowym. Na przykład generowanie proceduralne jest z nami od dziesięcioleci (od Elita w 1984 roku po Astroneera w 2019 roku, by wymienić dwa przypadki) i mimo swoich nieuniknionych ograniczeń może przynieść dobre rezultaty w odpowiednich warunkach.
Oczywiście, przy generatywnej burzy nad naszymi głowami, nie brakuje tych, którzy chcą wykorzystać tę technologię do tworzenia obiektów i/lub tekstur, ale zespół złożony z członków Google Research, Google DeepMind i Uniwersytetu Tel Awiwu obrał inną drogę: przekształcenie modelu generatywnego w silnik graficzny, który tworzy środowiska w czasie rzeczywistym. Jak się nazywa? GameNGen
GameNGen: model dyfuzyjny jako silnik gry w czasie rzeczywistym, ft. Doom
Oficjalna strona wyjaśnia, że GameNGen to pierwszy silnik graficzny zasilany modelem neuronowym, który umożliwia interakcję w czasie rzeczywistym ze złożonymi przestrzeniami i utrzymuje (stosunkowo) stałą jakość przez całą sesję. W rzeczywistości GameNGen może symulować klasyczną wersję Dooma z szybkością 20 klatek na sekundę, używając zaledwie jednego TPU. Innymi słowy, ten silnik graficzny łączy przetwarzanie poprzednich klatek z poleceniami gracza, aby generować nowe klatki bez utraty spójności. Cały poziom jest wokół niego „budowany”.
Pierwszym krokiem było wytrenowanie agenta, aby „nauczył się” grać w Dooma, z systemem kar (gromadzenie obrażeń i śmierci) oraz nagród (zbieranie przedmiotów, zabijanie wrogów i ukończenie poziomu). Jednak najbardziej godne uwagi jest to, że wykorzystano Stable Diffusion 1.4 do procesu generowania. Stable Diffusion nie jest szczególnie odporny na utrzymanie spójności między klatkami i ma tendencję do „dryfowania”, ale rozwiązali ten problem, stosując kontekstowe klatki, które „zanieczyścili” szumem Gaussa, dając rodzaj „systemu samokorekty”.
GameNGen jest daleki od doskonałości, a wprawne oko szybko zauważy różne artefakty (brwi i oczy Doomguya to dobry punkt wyjścia), ale jako „symulacja” Dooma robi wrażenie.
Oficjalna strona i paper: Kliknij tutajŹródło: Tom's Hardware
