Marvell décrit une architecture de mémoire à large bande passante (HBM) qui déplace le contrôleur mémoire de la puce de calcul de l’accélérateur (XPU) vers une puce de base sous chaque pile de DRAM. Une interface puce à puce (D2D) plus étroite relie ensuite cette base au XPU. Marvell estime que cette organisation peut libérer de la surface de calcul et réduire la puissance de l’interface, tout en faisant de la chaleur sous les piles un enjeu de conception du boîtier (présentation de l’architecture par Marvell).

Où se déplace la logique mémoire ?

Dans l’organisation HBM standard décrite par Marvell, le contrôleur mémoire et la large interface HBM occupent une partie du XPU. Dans l’architecture personnalisée, le contrôleur est placé dans une puce de base sous chaque pile de DRAM, tandis qu’une interface physique D2D plus étroite relie la puce de base au XPU.

OrganisationEmplacement du contrôleur mémoireInterface côté XPUConséquence de conception décrite par Marvell
HBM standardSur le XPULarge interface HBM au bord du XPULe XPU accueille la logique et l’interface mémoire.
HBM personnalisée décrite par MarvellDans une puce de base sous chaque pile de DRAMInterface D2D plus étroite entre la puce de base et le XPULe contrôleur quitte le XPU; la puce de base et le refroidissement des piles prennent davantage d’importance.

Pour situer l’enjeu de l’interface, Marvell donne aussi un exemple de dimensionnement de classe HBM5 : une pile à 7,2 To/s sur un bord de 9 mm demande environ 6,4 Tbit/s/mm. Son interface D2D bidirectionnelle, annoncée comme conçue pour 64 Gbit/s par fil, vise plus de 30 Tbit/s/mm. Ces valeurs décrivent un exemple de conception avancé par l’entreprise.

Quels gains Marvell estime-t-elle ?

Par rapport à une architecture utilisant de la HBM standard, Marvell estime que la configuration personnalisée pourrait offrir jusqu’à 25 % de surface de calcul supplémentaire, accueillir jusqu’à 33 % de piles HBM en plus et réduire jusqu’à 70 % la puissance de l’interface mémoire. Ces estimations dépendent de la conception du XPU : ce sont des plafonds annoncés par l’entreprise, pas des gains identiques pour tous les accélérateurs.

Marvell présente aussi la gestion adaptative de puissance de son interface D2D comme un levier distinct. Par rapport à une interface sans cette gestion, l’entreprise annonce une baisse de puissance pouvant atteindre 75 % en charge normale et 42 % au trafic maximal. Ces chiffres ont leur propre référence de comparaison et ne se confondent pas avec l’estimation globale de 70 % pour l’interface mémoire.

Avant d’ajouter du calcul, demandez-vous si la charge attend surtout davantage de puissance de calcul ou davantage de bande passante mémoire.

Pourquoi la chaleur devient-elle une contrainte ?

La puce de base ajoute de la logique sous la pile de DRAM. Marvell identifie l’interface physique D2D de cette puce comme le point le plus chaud de son architecture et présente le refroidissement comme un problème à traiter à l’échelle de l’ensemble du boîtier.

Pour un boîtier 2,5D, Marvell rapporte une analyse où la résistance thermique interne représente 57 % de la résistance thermique totale de la pile HBM, contre 13 % de celle de l’ASIC adjacent. L’entreprise relaie également une projection selon laquelle la température interne des piles de 16 couches dépasserait le budget thermique en 2028. Il s’agit d’une projection portant sur ces piles, pas d’une défaillance déjà observée.

Marvell évoque plusieurs pistes pour évacuer la chaleur : des chemins thermiques en silicium près de l’interface D2D, le collage hybride cuivre-cuivre et des canaux de refroidissement gravés dans le silicium. L’entreprise s’attend aussi à ce que la HBM de prochaine génération, fonctionnant au-delà de 28 Gbit/s, dépasse un flux thermique de 2,0 W/mm². Le choix de l’interface ne se résume donc pas à la place gagnée sur le XPU : il faut aussi concevoir ensemble la puce de base, les piles, le boîtier et leur refroidissement.

Pourquoi la bande passante ne suffit pas à toutes les charges

Dans cette vidéo en anglais, Kaoutar El Maghraoui explique le modèle roofline et distingue les charges limitées par la mémoire de celles limitées par le calcul.

Une charge limitée par la mémoire attend que les données arrivent; lui ajouter de la puissance de calcul ne supprime pas nécessairement ce goulot d’étranglement. À l’inverse, une charge limitée par le calcul peut tirer davantage parti d’une capacité de calcul accrue. L’intensité arithmétique, c’est-à-dire le nombre d’opérations effectué par octet de données lu, aide à distinguer ces situations. Le modèle roofline représente le plafond de performance lié à la bande passante mémoire et celui lié à la puissance de calcul.

Dans une vidéo explicative d’IBM Technology, Kaoutar El Maghraoui présente ces notions et explique que certaines phases de décodage des grands modèles de langage peuvent être limitées par la bande passante mémoire. Ce contexte aide à comprendre pourquoi les gains d’interface ou de mémoire peuvent compter pour certaines charges sans garantir une accélération uniforme de tous les usages de l’IA.