AdIllustrious7246, autore di un fork di PS5LM, riferisce di aver eseguito Qwen3.8-27B sulla GPU di una PS5 con jailbreak a circa 20 token/s. La prova usava la quantizzazione IQ2_XXS e un contesto 64k: il dato riguarda la generazione dell’output, non il tempo necessario a elaborare il prompt. AdIllustrious7246 descrive il progetto e i risultati nel post originale.
Generazione e prefill sono due fasi diverse
Per il prefill — l’elaborazione dei token in ingresso prima che inizi la risposta — AdIllustrious7246 indica una velocità di circa 35–50 token/s. Un prompt lungo può comunque prolungare l’attesa prima del primo token: la velocità di generazione riportata non descrive da sola l’intera interazione.
L’autore attribuisce il limite del prefill alla configurazione RADV della PS5, che non supporta cooperative matrix e prodotti scalari interi accelerati. Secondo la sua spiegazione, ggml-vulkan ripiega così su shader fp16 standard per le moltiplicazioni tra matrici. Per contenere i tempi delle operazioni sulla GPU, dice di mantenere piccoli i batch del prompt (-ub 64): una submission GPU che supera circa 10 secondi può far perdere il dispositivo alla console.
La quantizzazione IQ2_XXS è una parte sostanziale del risultato. Alcuni utenti nel thread la criticano, giudicando troppo penalizzante il compromesso sulla qualità; altri apprezzano la velocità dichiarata. Sono valutazioni espresse nella discussione, non misure della qualità del modello.
L’app nativa usa la GPU e un pool di memoria più ampio
Il fork trasforma il percorso di PS5LM, descritto come un payload CPU, in un’app nativa che usa la GPU tramite Vulkan e un port RADV. AdIllustrious7246 indica circa 11,4 GiB di memoria disponibili per l’app, contro circa 6 GiB per il payload originale.
La memoria della PS5 è condivisa tra CPU e GPU, secondo la spiegazione dell’autore. Perciò il CPU offload — lo spostamento di parte del lavoro o dei pesi sulla CPU — non aggiunge capacità: usa lo stesso pool. AdIllustrious7246 aggiunge che l’esecuzione degli esperti del modello passerebbe alla CPU, sui core Zen 2, anziché restare sulla GPU.
I componenti richiesti dal fork
Per il progetto descritto serve una PS5 con jailbreak. AdIllustrious7246 elenca etaHEN, kstuff e ShadowMountPlus come requisiti; indica elfldr e ftpsrv come componenti consigliati.
