Marvell beschreibt für Custom HBM eine Architektur, in der der Speichercontroller vom Rechenchip des Beschleunigers auf einen Basischip unter jedem DRAM-Stapel wandert. Eine schmalere Verbindung zwischen den Chips ersetzt die breite HBM-Schnittstelle am Rand des XPU. Marvell erwartet dadurch mögliche Vorteile bei Chipfläche und Leistungsaufnahme; zugleich rückt die Wärme unter dem Speicherstapel stärker in den Mittelpunkt des Entwurfs. Marvells technische Beschreibung
Was sich am Aufbau ändert
HBM steht für Hochbandbreitenspeicher, also gestapelten Speicher, der Daten mit hoher Bandbreite an einen Beschleuniger liefert. XPU bezeichnet hier den Rechenchip des Beschleunigers. Bei einer üblichen HBM-Anordnung sitzen Speichercontroller und breite HBM-PHY – die physische Schnittstellenschaltung – auf dem XPU. In Marvells Custom-HBM-Entwurf sitzt der Controller stattdessen auf einem maßgeschneiderten Basischip unter jedem DRAM-Stapel; zum XPU führt eine schmalere Die-to-Die-Verbindung (D2D, Chip zu Chip).
| Anordnung | Position des Speichercontrollers | Schnittstelle auf der XPU-Seite | Von Marvell beschriebene Designfolge |
| Standard-HBM | Auf dem XPU | Breite HBM-PHY am Rand des XPU | Controller und Speicheranbindung beanspruchen Fläche und Anschlüsse auf dem Rechenchip. |
| Custom HBM | Auf einem Basischip unter jedem DRAM-Stapel | Schmalere D2D-PHY zum XPU | Speicherlogik wird aus dem XPU verlagert; der Basischip und die Kühlung müssen gemeinsam ausgelegt werden. |
Die Änderung betrifft damit nicht bloß den Speicherstapel: Sie verlagert Logik und verändert die Verbindung zwischen Speicher und Rechenchip. Genau diese Kombination ist entscheidend für die von Marvell erwarteten Flächen- und Leistungsvorteile – und für die Wärmeentwicklung.
Welche Vorteile Marvell erwartet
Verglichen mit einem XPU für Standard-HBM schätzt Marvell, dass der Entwurf bis zu 25 Prozent mehr Rechenfläche, Platz für bis zu 33 Prozent mehr HBM-Stapel und bis zu 70 Prozent weniger Leistung für die Speicherschnittstelle ermöglichen könnte. Die möglichen Zugewinne hängen laut Marvell vom jeweiligen XPU-Entwurf ab.
Mehr freie Fläche oder geringere Leistungsaufnahme an der Schnittstelle bedeuten für sich genommen keinen garantierten Geschwindigkeitsgewinn. Ob eine Änderung einen konkreten KI-Workload beschleunigt, hängt auch davon ab, wo dessen Engpass liegt.
Der Flächen- und Leistungsvorteil zählt erst im Zusammenspiel mit der Wärmeabfuhr und dem konkreten Workload.
Warum die Wärme Teil des Entwurfs wird
Mit dem Controller und der D2D-PHY kommt zusätzliche Logik unter den DRAM-Stapel. Marvell bezeichnet die D2D-PHY im Basischip als thermischen Hotspot. Basischip, Speicherstapel, Gehäuse, Wärmeleitmaterial, Deckel und Kühlsystem müssen deshalb zusammen betrachtet werden.
Für eine Analyse eines 2,5D-Gehäuses nennt Marvell interne Wärmeleitwiderstände von 57 Prozent des Gesamtwiderstands im HBM-Stapel und 13 Prozent beim benachbarten ASIC. Die Prozentwerte beziehen sich jeweils auf den gesamten Wärmeleitwiderstand des genannten Bauteils. Außerdem führt Marvell die Prognose an, dass die Innentemperaturen von 16-lagigen HBM-Stapeln bis 2028 das thermische Budget überschreiten könnten.
Warum der Workload entscheidend ist
Mehr Rechenleistung beschleunigt eine KI-Aufgabe nicht automatisch: Wenn der Prozessor auf Daten warten muss, kann die Speicherbandbreite den Durchsatz begrenzen. Die arithmetische Intensität beschreibt, wie viele Rechenoperationen auf ein Byte Speicherzugriff entfallen. Das Roofline-Modell setzt diese Größe zur erreichbaren Rechenleistung in Beziehung und hilft, speichergebundene von rechengebundenen Aufgaben zu unterscheiden.
Kaoutar El Maghraoui erklärt diese Zusammenhänge in einem Beitrag von IBM Technology. Bei der Decodierung von Text kann etwa die Speicherbandbreite die Token-Ausgabe einer LLM-Inferenz begrenzen. Custom HBM zielt auf die Speicheranbindung; wie viel ein bestimmter Workload davon profitiert, hängt davon ab, ob gerade der Speicher oder die Rechenleistung den Engpass bildet.