Niestandardowa architektura HBM opisywana przez Marvell przenosi kontroler pamięci z rdzenia obliczeniowego akceleratora do warstwy pod każdym stosem DRAM. Zamiast szerokiego interfejsu HBM na krawędzi układu XPU pojawia się węższy interfejs D2D. Marvell szacuje, że taki układ może zwiększyć powierzchnię przeznaczoną na obliczenia i ograniczyć pobór mocy interfejsu, ale wymaga starannego zaprojektowania odprowadzania ciepła (opis Marvell).
Co zmienia niestandardowa HBM?
HBM, czyli pamięć o wysokiej przepustowości, składa się z warstw kości DRAM ułożonych jedna na drugiej. XPU to rdzeń obliczeniowy akceleratora, a PHY — warstwa fizyczna interfejsu — obsługuje przesyłanie danych między układami. W rozwiązaniu opisanym przez Marvell kontroler pamięci znajduje się w niestandardowej warstwie bazowej pod każdym stosem DRAM. Węższy interfejs D2D, czyli die-to-die, łączy tę warstwę z XPU.
| Układ | Położenie kontrolera pamięci | Interfejs po stronie XPU |
| Standardowa HBM | W rdzeniu obliczeniowym XPU | Szeroki interfejs HBM |
| Architektura niestandardowej HBM opisywana przez Marvell | W warstwie bazowej pod każdym stosem DRAM | Węższy interfejs D2D |
Przeniesienie kontrolera i zmianę interfejsu Marvell przedstawia jako sposób na odzyskanie miejsca na rdzeniu XPU, które w standardowym układzie zajmują logika i połączenia pamięci. Firma szacuje, że w porównaniu ze standardową HBM rozwiązanie może zapewnić do 25% więcej powierzchni obliczeniowej, miejsce na do 33% więcej stosów HBM oraz do 70% niższy pobór mocy interfejsu pamięci. Są to wartości maksymalne zależne od projektu XPU.
Dlaczego chłodzenie staje się kluczowe?
Logika przeniesiona pod stos DRAM zmienia rozmieszczenie źródeł ciepła. Marvell wskazuje PHY D2D w warstwie bazowej jako najgorętszy punkt projektu, dlatego dobór stosu pamięci, warstwy bazowej, obudowy i chłodzenia trzeba rozpatrywać łącznie.
W analizie pakietu 2,5D, którą Marvell przypisuje badaniu Samsung, wewnętrzna rezystancja cieplna stanowiła 57% całkowitej rezystancji cieplnej stosu HBM i 13% całkowitej rezystancji sąsiedniego układu ASIC. Marvell przewiduje też, że w stosach HBM o wysokości 16 warstw wewnętrzna temperatura może przekroczyć budżet termiczny do 2028 roku. To prognoza dotycząca warunków cieplnych, a nie opis odnotowanej awarii.
Marvell oczekuje, że HBM kolejnej generacji pracująca z szybkością powyżej 28 Gb/s przekroczy gęstość strumienia ciepła 2,0 W/mm². Firma opisuje również adaptacyjne zarządzanie mocą interfejsu D2D: według jej szacunków może ono obniżyć pobór mocy tego interfejsu o maksymalnie 75% przy typowym obciążeniu i o maksymalnie 42% przy szczytowym ruchu, w porównaniu z interfejsem bez tej funkcji.
Przyspieszenie pamięci ma największe znaczenie dla zadań ograniczanych przez przepustowość, a nie dla każdego obciążenia AI.
Dlaczego znaczenie ma rodzaj obciążenia?
Większa moc obliczeniowa nie zawsze przyspiesza zadanie AI. Kaoutar El Maghraoui z IBM Technology wyjaśnia, że część obciążeń ogranicza przepustowość pamięci: procesor czeka wtedy na dane, zamiast wykorzystać całą moc obliczeniową. Intensywność arytmetyczna, czyli liczba operacji zmiennoprzecinkowych przypadająca na bajt odczytanych lub zapisanych danych, pomaga określić, jak silnie zadanie zależy od dostępu do pamięci. Model dachowy pozwala z kolei odróżnić ograniczenie przepustowością od ograniczenia mocą obliczeniową.
To ogólne wyjaśnienie zachowania obciążeń, nie ocena projektu Marvell. Potencjalna korzyść z większej przepustowości będzie zależeć od tego, czy konkretne zadanie rzeczywiście czeka na dane z pamięci.