AdIllustrious7246, autor de um fork do PS5LM, relata ter executado o Qwen3.8-27B na GPU de um PS5 com jailbreak a cerca de 20 tokens por segundo. O resultado foi obtido com quantização IQ2_XXS e contexto 64k, segundo a publicação do desenvolvedor. É um projeto homebrew, feito pela comunidade para rodar modelos localmente no console.
Geração e prefill são etapas diferentes
A taxa de cerca de 20 tokens/s se refere à geração de texto. Já o prefill — o processamento do prompt antes de começar a resposta — foi estimado pelo desenvolvedor em 35 a 50 tokens/s. Em prompts longos, o volume de texto de entrada pode aumentar a espera até o primeiro token de saída.
AdIllustrious7246 atribui esse gargalo ao caminho RADV usado no PS5, que, segundo ele, não tem suporte a matrizes cooperativas nem a produto escalar inteiro acelerado. Com isso, o ggml-vulkan recorre a shaders FP16 convencionais para multiplicações de matrizes. O desenvolvedor diz manter os lotes de prompt pequenos, usando -ub 64, porque uma submissão à GPU que passe de aproximadamente 10 segundos pode fazer o console perder o dispositivo.
O aplicativo nativo usa a GPU do PS5
O fork executa o llama.cpp em um aplicativo nativo com Vulkan, por meio de um port do RADV. O autor estima que o aplicativo tenha cerca de 11,4 GiB disponíveis, ante aproximadamente 6 GiB no payload original do PS5LM, voltado à CPU. Na comparação feita por ele, o modelo de 27 bilhões de parâmetros, transmitido do disco pelo caminho antigo, chegava a cerca de um token por minuto.
CPU offload não amplia a memória disponível
O PS5 usa memória unificada, compartilhada entre CPU e GPU. Por isso, segundo AdIllustrious7246, o CPU offload — transferir parte do trabalho do modelo para o processador — apenas desloca os pesos dentro do mesmo conjunto de memória; não cria capacidade extra. O desenvolvedor acrescenta que, nesse arranjo, os especialistas do modelo passariam a rodar em alguns núcleos Zen 2, em vez de na GPU.
O projeto requer um PS5 com jailbreak. Entre os componentes que o autor lista estão etaHEN, kstuff e ShadowMountPlus.
