A Modal afirma que a NVIDIA entregou seu primeiro servidor com CPU Vera à empresa e que o equipamento está instalado em um rack. Nos testes iniciais da Modal, a CPU registrou até o dobro da vazão de tarefas concorrentes frente a um sistema x86 GNR equivalente. O suporte a Vera no Modal Sandboxes ainda está planejado.
Como a Modal mediu a vazão
O Agentless Agent Bench reúne 50 soluções de referência e verificadores do Terminal-Bench. A Modal retirou as chamadas de rede e executou as tarefas em contêineres Docker pré-aquecidos e concorrentes. Entre elas estão compilação, buscas em arquivos, operações Git e emulação de dispositivos.
A latência mede quanto tempo uma tarefa leva para terminar; a vazão conta quantas tarefas são concluídas por unidade de tempo. A Modal mediu a latência em testes seriais, numa máquina sem carga, e a vazão com números crescentes de contêineres concorrentes. Nos testes seriais, a empresa diz que Vera teve latência menor em muitas tarefas, mas não em todas, e sem grandes diferenças.
Sob carga concorrente, a Modal relata até o dobro da vazão do sistema x86 GNR equivalente. A empresa também afirma que a latência de cada tarefa ficou igual ou, às vezes, abaixo da registrada no sistema x86. O resultado se refere a essa carga e a esse comparador. A Modal atribui o desempenho à capacidade de manter o ritmo sob contenção e à alta largura de banda da memória. A NVIDIA informa que a memória LPDDR5X da Vera oferece largura de banda de até 1,2 TB/s.
O suporte a Vera exige adaptação à arquitetura Arm
A Modal diz que sua infraestrutura vinha rodando exclusivamente em x86 e que apoiar Arm exige mudanças na infraestrutura e no sistema de criação de imagens. A empresa planeja levar suporte a Vera ao Modal Sandboxes e trabalhar com a NVIDIA e provedores de nuvem para ampliar a frota.
A afirmação separada da NVIDIA
Em um vídeo em inglês, a NVIDIA afirma que Vera conclui tarefas executadas por agentes de IA 80% mais rápido que processadores x86. Esse é um número apresentado pela NVIDIA, separado do resultado de vazão concorrente relatado pela Modal.
