AdIllustrious7246, autor forka PS5LM Plus, podaje, że uruchomił Qwen3.8-27B na GPU zmodyfikowanej PlayStation 5 i uzyskał około 20 tokenów na sekundę. Wynik dotyczy kwantyzacji IQ2_XXS oraz okna kontekstu 64k; to relacja dewelopera o jego własnym projekcie, opisana w oryginalnym wpisie na Redditcie.
Co działa na GPU PS5
Fork przenosi PS5LM z uruchamiania jako payload CPU do natywnej aplikacji GPU. Według AdIllustrious7246 aplikacja korzysta z llama.cpp przez Vulkan i port RADV. Deweloper podaje, że natywna aplikacja ma do dyspozycji około 11,4 GiB pamięci, wobec około 6 GiB w pierwotnym payloadzie CPU.
PS5 ma pamięć zunifikowaną, czyli wspólną pulę dla procesora i GPU. Dlatego — jak wyjaśnia autor forka — CPU offload przenosi wagi w obrębie tej samej pamięci, zamiast dodawać pojemność. Deweloper zaznacza też, że takie obliczenia przeniosłyby część pracy na kilka rdzeni Zen 2 zamiast na GPU.
Szybkość generowania to nie szybkość przetwarzania promptu
Około 20 tokenów na sekundę odnosi się do generowania odpowiedzi. AdIllustrious7246 osobno podaje 35–50 tokenów/s dla prefillu, czyli wczytywania i przetwarzania promptu przed wygenerowaniem pierwszego tokenu. Przy długim poleceniu lub wklejonym dokumencie oczekiwanie na początek odpowiedzi może więc trwać, nawet jeśli dalsze generowanie osiąga zgłaszaną szybkość.
Autor forka przypisuje wolniejszy prefill ograniczeniom ścieżki RADV na PS5: według niego brakuje obsługi macierzy kooperacyjnych i przyspieszonego całkowitoliczbowego iloczynu skalarnego, przez co ggml-vulkan używa prostych shaderów FP16 do mnożenia macierzy. Deweloper utrzymuje też małe partie promptu, ustawiając -ub 64, ponieważ zadanie GPU trwające ponad około 10 sekund może — jak twierdzi — doprowadzić do utraty urządzenia przez konsolę.
Ceną za 27B jest mocna kwantyzacja
Wynik dotyczy Qwen3.8-27B w formacie IQ2_XXS, czyli silnie skompresowanej, 2-bitowej kwantyzacji. Część komentujących w wątku krytykowała ten wybór, kwestionując sens uruchamiania modelu 27B przy tak niskiej precyzji. To opinie użytkowników, a nie pomiary jakości modelu. Szybkość generowania sama nie odpowiada więc na pytanie, jak model sprawdzi się w konkretnym zadaniu.
Wymagania projektu
Uruchomienie opisane przez autora wymaga już zmodyfikowanej PS5. AdIllustrious7246 wymienia etaHEN, kstuff i ShadowMountPlus jako wymagane komponenty homebrew; elfldr i ftpsrv są przez niego rekomendowane.
