AdIllustrious7246 meldt dat een native fork van PS5LM Qwen3.8-27B op de GPU van een gejailbreakte PlayStation 5 draait met ongeveer 20 tokens per seconde. Die uitvoersnelheid hoort bij de IQ2_XXS-kwantisatie en een context van 64k tokens. Het gaat om een communityproject voor homebrew, niet om een officiële PlayStation- of Alibaba-functie, schrijft de ontwikkelaar.
Van CPU-payload naar GPU-app
De fork gebruikt volgens AdIllustrious7246 llama.cpp met Vulkan via een RADV-port. Dat is een andere aanpak dan de oorspronkelijke PS5LM-payload, die op de CPU draaide. De maker zegt dat de native app ongeveer 11,4 GiB geheugen kan gebruiken, tegenover circa 6 GiB voor de oorspronkelijke payload. Voor die oudere uitvoering beschrijft de ontwikkelaar het laden van het 27B-model vanaf schijf als ongeveer één token per minuut in de praktijk.
De circa 20 tokens per seconde zijn een door de ontwikkelaar gemelde snelheid, geen onafhankelijk uitgevoerde benchmark. Ook is IQ2_XXS een 2-bit-kwantisatie: die configuratie is een belangrijk deel van de context bij het resultaat. Enkele reageerders bij het projectbericht zetten vraagtekens bij de modelkwaliteit met zo’n lage bitdiepte.
Generatiesnelheid is iets anders dan prefill
De gemelde 20 tokens per seconde beschrijven het genereren van uitvoer. Voor prefill — het verwerken van de prompt voordat het model antwoordt — noemt AdIllustrious7246 een snelheid van ongeveer 35–50 tokens per seconde. Een lange systeemprompt of een geplakt document kan daardoor toch tijd kosten voordat de eerste uitvoertoken verschijnt.
De ontwikkelaar schrijft de beperking toe aan het ontbreken van ondersteuning voor cooperative matrices en versnelde integer-dot-producten in de PS5-configuratie van RADV. Daardoor valt ggml-vulkan volgens de maker terug op gewone fp16-shaders voor matrixvermenigvuldigingen. Ook houdt de app promptbatches op -ub 64: een GPU-taak die langer dan ongeveer tien seconden duurt, kan volgens de ontwikkelaar ervoor zorgen dat de console het apparaat verliest.
CPU-offload voegt geen geheugen toe
CPU en GPU delen in de PS5 één geheugenpool. AdIllustrious7246 zegt daarom dat CPU-offload gewichten alleen binnen diezelfde pool verplaatst; het vergroot de beschikbare capaciteit niet. Bij offload zouden de experts bovendien op een handvol Zen 2-cores draaien in plaats van op de GPU. Het is dus geen extra geheugenruimte voor een groter model.
De genoemde softwarevereisten
De fork-auteur noemt een al gejailbreakte PS5 met etaHEN, kstuff en ShadowMountPlus als vereisten. elfldr en ftpsrv noemt de ontwikkelaar als aanbevolen onderdelen.
