Marvell beschrijft aangepaste HBM voor AI-accelerators als een verschuiving van de geheugencontroller naar een basisdie onder elke DRAM-stack. Een smallere verbinding met de processor kan ruimte en interfacevermogen vrijmaken; de logica onder het geheugen maakt de warmteafvoer tegelijk belangrijker. Marvell licht de architectuur en de bijbehorende schattingen toe.

HBM staat voor high-bandwidth memory: geheugen met een hoge overdrachtssnelheid, opgebouwd uit gestapelde DRAM-chips. Een XPU is hier de rekendie van de accelerator. Marvell verplaatst de geheugencontroller van die rekendie naar een aangepaste basisdie onder de HBM-stack. De verbinding tussen die basisdie en de XPU loopt via een smallere D2D-PHY; D2D betekent die-to-die, oftewel verbinding tussen twee chipdies.

Wat verandert er aan de opbouw?

Bij de standaardopbouw zitten volgens Marvells vergelijking de geheugencontroller en de brede HBM-PHY op de XPU. In de aangepaste opbouw verhuist de controller naar de basisdie onder de geheugenstack en vervangt een smallere D2D-PHY de HBM-PHY aan de rand van de XPU.

OnderdeelStandaard-HBM-opbouwDoor Marvell beschreven aangepaste HBM
GeheugencontrollerOp de XPUIn een basisdie onder elke DRAM-stack
Verbinding aan de XPU-kantBrede HBM-PHYSmallere D2D-PHY
Gevolg voor het ontwerpDe geheugeninterface gebruikt ruimte en vermogen op de XPUDe aangepaste indeling kan XPU-ruimte en interfacevermogen vrijmaken; warmte onder de geheugenstack vraagt extra aandacht

Welke winst schat Marvell in?

Vergeleken met een XPU met standaard-HBM schat Marvell dat de aangepaste architectuur tot 25% meer rekenoppervlak, ruimte voor tot 33% meer HBM-stacks en tot 70% minder vermogen voor de geheugeninterface kan opleveren. Hoeveel daarvan haalbaar is, hangt volgens het bedrijf af van het XPU-ontwerp.

Marvell noemt ook een afzonderlijke schatting voor adaptief energiebeheer van de D2D-interface: tot 75% minder interfacevermogen bij normale workloads en tot 42% bij piekverkeer, vergeleken met een interface zonder dat energiebeheer. Die cijfers gaan over het vermogen van de D2D-interface, niet over het totale stroomverbruik van een accelerator.

Waarom wordt warmtebeheer belangrijker?

De basisdie voegt logica toe onder de DRAM-stacks. Marvell wijst de D2D-PHY in die basisdie aan als de warmste plek en stelt dat de geheugenstack, basisdie, verpakking en koeling daarom samen moeten worden ontworpen.

Als onderbouwing haalt Marvell een analyse aan van een 2,5D-verpakking. Daarin zou de interne thermische weerstand 57% uitmaken van de totale thermische weerstand van de HBM-stack; voor de aangrenzende ASIC was dat 13%. Marvell meldt daarnaast dat de interne temperatuur van 16-laagse HBM-stacks volgens een prognose in 2028 boven het thermische budget uitkomt. Dat is een toekomstverwachting, geen gemelde storing.

Marvell noemt onder meer warmtegeleidingspaden door silicium, koper-op-koper-hybrid bonding en koelkanalen in silicium als manieren om warmte af te voeren. Het bedrijf verwacht bovendien dat volgende-generatie-HBM boven 28 Gbps een warmtestroomdichtheid van meer dan 2,0 W/mm² kan bereiken. Daardoor bepaalt de verbinding met de basisdie niet alleen hoe gegevens tussen chips bewegen, maar ook waar de koeling het zwaarst wordt belast.

Een hogere geheugenbandbreedte helpt vooral wanneer de workload op gegevensoverdracht wacht; extra rekenruimte alleen maakt niet elke AI-taak sneller.

Waarom maakt het type workload uit?

IBM Technology legt de geheugenmuur, rekenintensiteit en het roofline-model uit in deze Engelstalige video.

Een accelerator kan worden begrensd door rekenkracht of door de snelheid waarmee gegevens uit het geheugen komen. Rekenintensiteit beschrijft hoeveel rekenwerk nodig is per verplaatste hoeveelheid data. Het dakdiagrammodel, ook wel het roofline-model genoemd, helpt te zien wanneer een workload tegen de geheugenbandbreedte aanloopt en wanneer de rekenkracht de grens vormt.

IBM Technology-presentator Kaoutar El Maghraoui legt uit dat sommige AI-workloads geheugenbegrensd zijn: meer GPU-rekenkracht versnelt die niet vanzelf. Bij taalmodelinferentie kan het genereren van tokens bijvoorbeeld door geheugenbandbreedte worden beperkt. Een grotere geheugenbandbreedte kan dus voor zulke workloads relevanter zijn dan extra rekenoppervlak, terwijl een rekenbegrensde taak een ander knelpunt heeft.