A arquitetura de HBM personalizada descrita pela Marvell transfere o controlador de memória do chip de computação para uma base sob cada pilha de DRAM e usa uma interface mais estreita com o acelerador. A empresa estima que o arranjo possa liberar área e reduzir a potência da interface, mas a lógica sob a memória também torna o controle térmico uma parte central do projeto. O texto técnico da Marvell, publicado em 17 de novembro de 2026, apresenta essa proposta para aceleradores de IA.

HBM é a memória de alta largura de banda empilhada junto ao processador. XPU é o chip de computação do acelerador. Já a PHY D2D — a interface física die-to-die, ou entre chips — conecta o XPU à base de silício da memória.

Como a HBM personalizada muda o acelerador?

Na configuração descrita pela Marvell, cada pilha de DRAM fica sobre uma base de silício personalizada, que recebe o controlador de memória. No arranjo padrão usado como referência, o controlador e a PHY HBM ficam no próprio XPU. Com a mudança, uma PHY D2D mais estreita substitui a interface HBM larga na borda do chip de computação.

ArranjoLocal do controlador de memóriaInterface no lado do XPUConsequência de projeto
HBM padrãoNo chip de computação do XPUPHY HBM larga na borda do XPUO controlador e a interface ocupam área e potência no XPU
HBM personalizada descrita pela MarvellNa base sob cada pilha de DRAMPHY D2D mais estreita entre o XPU e a baseA lógica de memória sai do XPU, mas fica sob a pilha de DRAM

Quais ganhos a Marvell estima?

Em relação a um XPU com HBM padrão, a Marvell estima até 25% mais área para computação, espaço para até 33% mais pilhas de HBM e até 70% menos potência na interface de memória. Os limites dependem do projeto do XPU: são estimativas da empresa, não resultados garantidos para todo acelerador.

A Marvell também descreve um exemplo de interface para uma configuração de classe HBM5. Uma pilha com largura de banda de 7,2 TB/s ao longo de uma borda de 9 mm exigiria cerca de 6,4 Tbps/mm. A interface D2D bidirecional da empresa, projetada para 64 Gbps por fio, teria capacidade superior a 30 Tbps/mm — quase cinco vezes a densidade exigida nesse exemplo, segundo a caracterização da Marvell.

Separadamente, a empresa atribui à gestão adaptativa de potência da interface D2D reduções de até 75% em cargas normais e até 42% em tráfego de pico, comparadas a uma interface sem esse gerenciamento. Esses números descrevem a potência da interface; não equivalem, por si só, a um aumento de velocidade em qualquer carga de IA.

Mais largura de banda favorece sobretudo as cargas limitadas pela memória; liberar área de computação, por si só, não garante uma IA mais rápida.

Por que a HBM personalizada exige atenção ao calor?

Mover lógica para baixo da DRAM muda onde o calor se concentra. A Marvell identifica a PHY D2D na base como o ponto mais quente do arranjo e argumenta que a pilha, o chip de base, o encapsulamento e a refrigeração precisam ser projetados em conjunto.

A empresa resume uma análise de encapsulamento 2.5D atribuída a pesquisadores da Samsung: a resistência térmica interna corresponde a 57% da resistência total da pilha HBM e a 13% da resistência total do ASIC adjacente. Resistência térmica indica a dificuldade que o calor encontra para se dissipar. A Marvell também projeta que as temperaturas internas de pilhas com 16 camadas ultrapassem o orçamento térmico até 2028.

Para HBM de próxima geração operando acima de 28 Gbps, a expectativa da Marvell é de fluxo de calor superior a 2,0 W/mm². Entre as abordagens térmicas que a empresa descreve estão criar caminhos de calor no silício, usar ligação híbrida cobre a cobre e gravar canais de líquido refrigerante no silício. Cada opção trata de como remover o calor concentrado na estrutura; o ponto crítico, no projeto descrito, é a região da interface D2D sob a pilha.

Como o tipo de carga muda o benefício?

A explicação da IBM Technology, em inglês, apresenta o modelo roofline e distingue cargas limitadas pela memória das limitadas pela computação.

Mais capacidade de computação não acelera automaticamente todo modelo de IA. Algumas cargas ficam limitadas pela largura de banda da memória — a chamada “parede da memória” —, enquanto outras esbarram na capacidade de processamento. Em etapas de decodificação de inferência, por exemplo, a leitura e a movimentação de dados podem limitar a geração de tokens.

A intensidade aritmética mede quantas operações de ponto flutuante são realizadas por byte acessado na memória. O modelo roofline relaciona essa intensidade ao desempenho para ajudar a distinguir cargas limitadas pela memória das limitadas pela computação. Kaoutar El Maghraoui, apresentadora da IBM Technology, explica esses conceitos como contexto geral sobre desempenho de IA; eles ajudam a entender por que o acesso à memória pode importar mais em algumas cargas do que em outras.

Assim, as estimativas de área e potência da Marvell descrevem mudanças de arquitetura, não uma aceleração automática de qualquer modelo: o efeito sobre o desempenho depende de onde a carga encontra seu limite.