AdIllustrious7246, der Autor eines PS5LM-Forks, berichtet, Qwen3.8-27B auf der GPU einer PS5 mit Jailbreak mit etwa 20 erzeugten Token pro Sekunde ausgeführt zu haben. Der Lauf nutzte die 2-Bit-Quantisierung IQ2_XXS und ein Kontextfenster von 64k Token. AdIllustrious7246s Projektbeitrag auf Reddit
Was hinter den rund 20 Token pro Sekunde steckt
Die Angabe bezieht sich auf die erzeugte Ausgabe. IQ2_XXS ist eine stark komprimierte Quantisierung mit zwei Bit. In der Reddit-Diskussion kritisierten einige Nutzer diese niedrige Bitzahl als möglichen Qualitätskompromiss; das waren Einschätzungen, keine Qualitätsmessungen. AdIllustrious7246s Projektbeitrag auf Reddit
Eingabe und Ausgabe sind zwei verschiedene Phasen
Für das Prefill – das Einlesen und Verarbeiten des Prompts vor der Textausgabe – nennt AdIllustrious7246 etwa 35 bis 50 Token pro Sekunde. Bei einem langen Systemprompt oder einem eingefügten Dokument könne es trotzdem dauern, bis das erste Ausgabetoken erscheint, sagt der Entwickler. AdIllustrious7246s Erläuterung auf Reddit
Als Grund führt AdIllustrious7246 die PS5-Konfiguration des Vulkan-Treibers RADV an: Unterstützung für Cooperative-Matrix-Operationen und beschleunigte Integer-Skalarprodukte fehle dort. Deshalb greife ggml-vulkan bei Matrixmultiplikationen auf einfache FP16-Shader zurück. Der Entwickler hält die Prompt-Batches mit -ub 64 klein; GPU-Aufträge, die länger als ungefähr zehn Sekunden laufen, könnten laut ihm dazu führen, dass die Konsole das Gerät verliert. AdIllustrious7246s technische Erläuterung auf Reddit
Die native GPU-App nutzt einen größeren Speicherpool
Der Fork führt llama.cpp als native App über Vulkan und einen RADV-Port auf der GPU aus. Für diese App nennt AdIllustrious7246 rund 11,4 GiB verfügbaren Speicher; beim ursprünglichen CPU-Payload seien es etwa 6 GiB. AdIllustrious7246s Projektbeitrag auf Reddit
CPU-Offload schafft keinen zusätzlichen Speicher
Laut AdIllustrious7246 teilen sich CPU und GPU den Arbeitsspeicher der PS5. CPU-Offload verschiebt Modellgewichte deshalb innerhalb desselben Speichers und vergrößert den verfügbaren Pool nicht. Der Entwickler zufolge würde die Berechnung der Experten außerdem von der GPU auf einige wenige Zen-2-Kerne wechseln. AdIllustrious7246s Erläuterung auf Reddit
Welche Software der Fork voraussetzt
Der Entwickler nennt eine bereits mit Jailbreak versehene PS5 sowie etaHEN, kstuff und ShadowMountPlus als Voraussetzungen für die App. elfldr und ftpsrv empfiehlt er zusätzlich. AdIllustrious7246s Projektbeitrag auf Reddit
