Marvell descrive un’architettura HBM personalizzata per acceleratori IA in cui il controller di memoria passa dal chip di calcolo, o XPU, a una base die sotto ogni pila DRAM. Sul bordo dell’XPU, una PHY die-to-die (D2D) più stretta sostituisce la PHY HBM. L’azienda stima possibili vantaggi in termini di area e potenza, ma individua nella gestione del calore sotto la memoria una sfida progettuale centrale (Marvell).

Che cosa cambia nell’HBM personalizzata?

HBM significa memoria ad alta larghezza di banda. Nel progetto descritto da Marvell, il controller che gestisce gli scambi con la memoria non si trova più sul die di calcolo dell’XPU: viene collocato in una base die dedicata sotto ciascuna pila di DRAM. Il collegamento tra XPU e base die usa una PHY D2D, cioè un’interfaccia tra chip, più stretta della PHY HBM convenzionale sul bordo dell’XPU.

ConfigurazionePosizione del controllerInterfaccia sul lato XPUConseguenza progettuale
HBM standardSul die di calcolo dell’XPUPHY HBM larga sul bordo dell’XPUL’interfaccia occupa area e potenza sul die di calcolo.
HBM personalizzata descritta da MarvellIn una base die sotto ogni pila DRAMPHY D2D più stretta tra XPU e base diePuò liberare area sull’XPU, ma aggiunge logica sotto la memoria.

La modifica riguarda quindi il modo in cui memoria e processore sono collegati, non soltanto il numero di chip di memoria. La base die assume parte del lavoro che altrimenti ricadrebbe sull’XPU; il collegamento D2D deve comunque sostenere il trasferimento dei dati tra i due die.

Quali vantaggi stima Marvell?

Rispetto a un XPU con HBM standard, Marvell stima fino al 25% di area di calcolo in più, spazio per fino al 33% di pile HBM in più e fino al 70% di potenza in meno sull’interfaccia di memoria. Sono stime massime che, secondo l’azienda, dipendono dal progetto dell’XPU.

Queste grandezze descrivono aspetti diversi: più area disponibile non equivale a un aumento garantito della velocità dei modelli, mentre la riduzione di potenza riguarda l’interfaccia di memoria e non l’intero acceleratore.

Marvell indica anche una gestione adattiva della potenza per l’interfaccia D2D: rispetto a un’interfaccia senza questa gestione, sostiene che il consumo possa ridursi fino al 75% con carichi di lavoro normali e fino al 42% al picco del traffico. Sono stime riferite a quelle specifiche condizioni, distinte dal confronto complessivo tra HBM standard e personalizzata.

Un esempio di dimensionamento chiarisce il ruolo della PHY. Per una pila di classe HBM5 con 7,2 TB/s su un fronte di 9 mm, Marvell calcola un fabbisogno di circa 6,4 Tb/s/mm. La sua interfaccia D2D bidirezionale, progettata per 64 Gb/s per filo, è indicata dall’azienda come capace di superare 30 Tb/s/mm.

Perché il calore diventa un vincolo di progetto?

Spostare logica sotto una pila DRAM rende più importante progettare insieme base die, memoria, package e raffreddamento. Marvell identifica la PHY D2D nella base die come il punto più caldo e si aspetta che l’HBM di prossima generazione, oltre 28 Gbps, superi un flusso termico di 2,0 W/mm².

Per un’analisi di package 2.5D, Marvell riporta che la resistenza termica interna rappresenta il 57% della resistenza totale della pila HBM e il 13% di quella dell’ASIC adiacente, citando uno studio Samsung presentato a IEEE ECTC nel 2026. L’azienda riporta inoltre una proiezione secondo cui la temperatura interna delle pile HBM a 16 strati supererà il budget termico entro il 2028.

Tra gli approcci di raffreddamento che Marvell cita figurano percorsi termici nel silicio vicino alla PHY D2D, il bonding ibrido rame-rame e canali per il liquido refrigerante incisi nel silicio. Il progetto termico coinvolge anche i materiali d’interfaccia termica e il coperchio del package: il punto caldo della base die non è un problema che si risolve considerando soltanto il die di calcolo.

La scelta va valutata insieme su due fronti: quanta area di calcolo può liberare e quanto calore occorre smaltire sotto ogni pila HBM.

Perché la larghezza di banda non accelera ogni carico IA?

Kaoutar El Maghraoui illustra il memory wall e il modello roofline, in inglese.

Un carico di lavoro può essere limitato dalla velocità con cui i dati arrivano alla GPU, anziché dalla sua capacità di calcolo. In quel caso, aggiungere calcolo non basta necessariamente a rendere più rapida l’elaborazione: la larghezza di banda della memoria può essere il collo di bottiglia.

Kaoutar El Maghraoui, presentatrice di IBM Technology, spiega l’intensità aritmetica — il rapporto tra operazioni in virgola mobile e byte di accesso alla memoria — e il modello roofline, che mette in relazione intensità aritmetica e prestazioni per distinguere i carichi limitati dalla memoria da quelli limitati dal calcolo. Questa distinzione aiuta a capire perché una maggiore larghezza di banda può contare molto per alcuni carichi, ma non determina da sola il risultato per ogni applicazione.