Modal zegt dat NVIDIA de eerste Vera-server aan het bedrijf heeft geleverd en dat die in een serverrack draait. In vroege tests mat Modal tot 2× zoveel gelijktijdige taakdoorvoer als op een equivalent x86 GNR-systeem. De ondersteuning voor Vera in Modal Sandboxes staat nog op de planning.
De benchmark combineert 50 taken in Docker-containers
Modal bouwde Agentless Agent Bench met 50 oplossingen en verifiers uit Terminal-Bench. Het bedrijf verwijderde netwerkverzoeken en draaide de taken in vooraf opgewarmde Docker-containers, die tegelijk werkten.
De benchmark meet twee verschillende zaken. Seriële latentie is de tijd die één taak op een onbelast systeem nodig heeft. Doorvoer telt hoeveel taken het systeem verwerkt terwijl het aantal gelijktijdige containers toeneemt. Het resultaat tot 2× betreft die tweede meting. Modal meldt dat Vera in die runs per taak even snel was als het x86-systeem, of soms sneller.
Bij de seriële taken op een onbelast systeem presteerde Vera volgens Modal vaak beter, maar niet bij alle taken en doorgaans niet met een groot verschil. Modal schrijft de resultaten toe aan Vera's prestaties onder gelijktijdige belasting en de hoge geheugenbandbreedte. NVIDIA vermeldt voor Vera maximaal 1,2 TB/s LPDDR5X-geheugenbandbreedte.
Tot 2× tegenover één x86 GNR-systeem
De vergelijking voor de gelijktijdige doorvoer was met een equivalent x86 GNR-systeem. Modal's resultaat zegt dus iets over die specifieke vergelijking en testopzet, niet over de prestaties van Vera tegenover alle AMD- en Intel-processors.
Modal plant ondersteuning voor Vera in Sandboxes
Modal zegt dat het zijn infrastructuur en het systeem voor het bouwen van images moet aanpassen om Arm te ondersteunen. Het bedrijf plant daarna Vera-ondersteuning voor Modal Sandboxes. De server in het rack is een installatie bij Modal; de Sandbox-ondersteuning is een afzonderlijke stap in de uitrol.
NVIDIA doet een aparte prestatieclaim
NVIDIA stelt in zijn eigen presentatie dat Vera agentachtige taken 80% sneller afrondt dan x86-processors. Dat is een aparte claim van NVIDIA, met een andere formulering dan Modal's meting van taakdoorvoer.
