AdIllustrious7246, auteur d’un fork de PS5LM, affirme avoir fait tourner Qwen3.8-27B sur le GPU d’une PS5 jailbreakée à environ 20 tokens par seconde, avec une quantification IQ2_XXS et un contexte de 64k. Ce débit concerne la génération de la réponse, selon la publication du développeur.
Génération et traitement du prompt : deux étapes distinctes
Le débit d’environ 20 tokens/s correspond aux tokens générés. Pour le préremplissage — le traitement du prompt avant le début de la réponse — AdIllustrious7246 rapporte plutôt 35 à 50 tokens par seconde. Un prompt long peut donc retarder l’apparition du premier token, même si la génération s’effectue ensuite à un rythme soutenu.
Le développeur attribue cette contrainte à la pile RADV utilisée sur la PS5 : elle ne prendrait pas en charge les matrices coopératives ni le produit scalaire entier accéléré. Selon lui, ggml-vulkan recourt alors à des shaders FP16 classiques pour les multiplications de matrices. Il indique aussi limiter les lots de prompt à -ub 64, car une soumission GPU dépassant environ 10 secondes peut faire perdre le périphérique à la console. Ces explications et mesures sont celles de l’auteur du fork.
Une application native exploite le GPU
Le fork remplace le payload CPU du PS5LM d’origine par une application native qui exécute llama.cpp sur le GPU, via Vulkan et un port RADV. AdIllustrious7246 estime qu’environ 11,4 Gio sont disponibles pour cette application, contre environ 6 Gio pour le payload CPU d’origine.
La configuration rapportée utilise IQ2_XXS, une quantification à très faible nombre de bits, avec un contexte de 64k. Dans les réponses à la publication, plusieurs internautes critiquent le compromis de qualité qu’ils associent à cette quantification ; d’autres saluent le débit annoncé. Ce sont des avis de la communauté, pas des évaluations de qualité du modèle. Les commentaires figurent dans le fil du développeur.
Le CPU offload ne crée pas de mémoire supplémentaire
La PS5 utilise une mémoire unifiée partagée par le CPU et le GPU, explique AdIllustrious7246. Le CPU offload déplace donc les poids du modèle dans le même pool au lieu d’ajouter de la capacité ; le développeur précise que leur exécution passerait alors par quelques cœurs Zen 2 plutôt que par le GPU. C’est l’explication donnée par l’auteur du fork.
Le projet requiert une PS5 déjà jailbreakée. AdIllustrious7246 cite etaHEN, kstuff et ShadowMountPlus parmi les composants nécessaires, et recommande aussi elfldr et ftpsrv.
