AdIllustrious7246, autor del fork PS5LM Plus, afirma que ejecutó Qwen3.8-27B en la GPU de una PS5 con jailbreak a unos 20 tokens por segundo. La cifra corresponde a la generación de texto con cuantización IQ2_XXS y contexto de 64k; el desarrollador informa por separado de la velocidad de procesamiento del prompt. Su publicación en Reddit detalla el resultado y la configuración.
Qué significa la cifra de unos 20 tokens/s
Los cerca de 20 tokens/s describen la velocidad a la que el modelo genera la respuesta. La configuración reportada usa IQ2_XXS, una cuantización de 2 bits, y un contexto de 64k. Son condiciones importantes: la cifra no representa un resultado con cualquier configuración del modelo.
La cuantización de pocos bits reduce la representación numérica de los pesos del modelo. En los comentarios de la publicación, algunos usuarios cuestionaron el compromiso de calidad asociado a IQ2_XXS; esas intervenciones expresan opiniones, no evaluaciones de calidad medidas.
El prefill y la generación son etapas distintas
El prefill es el procesamiento del prompt antes de que empiece la respuesta. Para Qwen3.8-27B, AdIllustrious7246 reporta un prefill de unos 35–50 tokens por segundo y señala que un prompt largo puede retrasar la llegada del primer token generado.
El autor atribuye esa limitación a la ruta RADV de PS5: según su explicación, carece de matrices cooperativas y de producto escalar entero acelerado, por lo que ggml-vulkan recurre a shaders FP16 básicos para las multiplicaciones de matrices. También dice que mantiene los lotes de prompt en -ub 64, porque una operación de GPU que supere aproximadamente los 10 segundos puede hacer que la consola pierda el dispositivo.
La app nativa lleva la inferencia a la GPU
PS5LM Plus ejecuta llama.cpp como una aplicación nativa que usa Vulkan mediante un port de RADV, según la descripción de su autor. Esto contrasta con el payload de CPU del PS5LM original: el desarrollador cifra en unos 11,4 GiB la memoria disponible para la app nativa y en unos 6 GiB la del payload original.
El CPU offload no amplía la memoria de la PS5
El desarrollador explica que la PS5 usa memoria unificada, compartida por la CPU y la GPU. Por eso, el CPU offload mueve los pesos dentro del mismo grupo de memoria: no añade capacidad. Según el autor, esa ejecución también trasladaría el trabajo a unos pocos núcleos Zen 2 en lugar de dejarlo en la GPU.
Qué necesita el proyecto
La configuración descrita requiere una PS5 con jailbreak y los componentes homebrew etaHEN, kstuff y ShadowMountPlus. El autor recomienda además elfldr y ftpsrv.
