Marvell plantea una arquitectura de HBM personalizada que coloca el controlador de memoria en una base de silicio bajo cada pila DRAM, en vez de mantenerlo en el chip de cómputo del acelerador. La empresa estima que el cambio podría liberar área y reducir la potencia de la interfaz, pero también señala un reto térmico en la zona de esa base. Marvell describe el diseño y sus estimaciones.
HBM, o memoria de alto ancho de banda, apila chips DRAM para acercar mucha memoria al procesador. Marvell propone rediseñar cómo se conecta esa pila al XPU, el chip de cómputo del acelerador, y cómo se evacua el calor del conjunto.
Al trasladar la lógica, el espacio que se libera en el XPU importa tanto como el calor que hay que disipar bajo la pila.
Qué cambia en la arquitectura de HBM
En la configuración descrita por Marvell, cada pila DRAM se apoya sobre una base personalizada que incorpora el controlador de memoria. En el borde del XPU, una PHY de conexión entre chips —D2D, por die-to-die— sustituye a la interfaz HBM más ancha.
| Configuración | Controlador y conexión | Consecuencia de diseño descrita por Marvell |
| HBM estándar | El controlador y la PHY HBM están en el chip de cómputo del XPU. | La interfaz de memoria ocupa espacio y conexiones en el XPU. |
| HBM personalizada | El controlador pasa a una base bajo cada pila DRAM; una PHY D2D más estrecha conecta esa base con el XPU. | La lógica de memoria deja espacio en el chip de cómputo y concentra nuevas exigencias térmicas bajo la pila. |
La diferencia práctica está en dónde se reparte el trabajo: el XPU puede dedicar más superficie al cómputo, mientras la base bajo la memoria asume funciones que antes estaban en el chip principal.
Qué beneficios estima Marvell
Frente a un XPU con HBM estándar, Marvell estima hasta un 25 % más de área para cómputo, espacio para hasta un 33 % más de pilas HBM y hasta un 70 % menos de potencia en la interfaz de memoria. Son máximos que dependen del diseño del XPU.
Marvell también atribuye a su gestión adaptativa de potencia de la interfaz D2D reducciones de hasta el 75 % en cargas normales y del 42 % con tráfico máximo, frente a una interfaz sin esa gestión. Estas cifras describen el consumo de la interfaz, no la velocidad de cualquier aplicación de IA.
Por qué la temperatura condiciona el diseño
Al situar más lógica bajo la DRAM, la base y la interfaz D2D se vuelven puntos importantes para la refrigeración. Marvell identifica la PHY D2D de la base como la zona más caliente y sostiene que la pila, la base, el encapsulado y el sistema de refrigeración deben diseñarse en conjunto.
En un análisis de encapsulado 2,5D que Marvell atribuye a investigadores de Samsung, la resistencia térmica interna representa el 57 % de la resistencia total de la pila HBM, frente al 13 % del ASIC adyacente. Marvell también cita una proyección según la cual la temperatura interna de pilas de 16 capas superaría el presupuesto térmico en 2028. Para HBM de nueva generación por encima de 28 Gbps, la empresa espera un flujo térmico superior a 2,0 W/mm².
Marvell resume varias líneas de trabajo para gestionar ese calor: rutas térmicas de silicio, unión híbrida de cobre con cobre y canales de refrigerante grabados en silicio. En los resultados que resume sobre unión híbrida, la resistencia térmica D2D baja entre un 23 % y un 47 %, la conductividad térmica vertical a través de la unión puede llegar a triplicarse y las pilas pueden ser más de un 15 % más cortas.
Por qué importa el tipo de carga de IA
Más cómputo no acelera por igual todas las tareas. La intensidad aritmética mide cuántas operaciones de coma flotante se realizan por cada byte leído de memoria: una carga con poca reutilización de datos puede quedar limitada por el ancho de banda, mientras otra puede estar limitada por la capacidad de cálculo.
Kaoutar El Maghraoui, presentadora de IBM Technology, explica esta diferencia mediante la intensidad aritmética y el modelo roofline, que relaciona el rendimiento con el acceso a memoria y la capacidad de cómputo. El vídeo está en inglés y ofrece contexto general sobre esos límites de rendimiento.
Así, las mejoras de espacio y potencia que plantea Marvell resultan más pertinentes cuando el movimiento de datos limita una carga; por sí solas, no permiten anticipar la misma mejora de velocidad para una tarea limitada por el cómputo.