CoreWeave zet naar verluidt 504 Vera Rubin-GPU's in productie

CoreWeave zou zeven NVIDIA Vera Rubin NVL72-racks in productie hebben genomen, verdeeld over twee regio's en samen goed voor 504 Rubin-GPU's. De stap is vooral technisch belangrijk: zodra meerdere racks als één AI-omgeving moeten samenwerken, worden netwerkverkeer, vloeistofkoeling, rackbeheer, opslag en foutafhandeling onderdeel van het rekenwerk zelf.

CoreWeave brengt Vera Rubin voorbij één rack

Een NVL72-rack bevat 72 Rubin-GPU's en 36 Vera-CPU's. Zeven racks leveren dus 7 × 72 = 504 GPU's op. Die configuratie is iets anders dan de schaal van ongeveer 128.000 GPU's per rail die CoreWeave voor zijn architectuur noemt: dat is een schaalbaarheidsdoel, geen bestaand Rubin-cluster van die omvang.

NVIDIA positioneert Vera Rubin als een rack-scale AI-platform voor training, inferentie, redeneertaken en agentische AI. Het is daarmee infrastructuur voor datacenters, geen losse gaming-GPU voor consumenten.

Wat zit er in een NVIDIA Vera Rubin NVL72?

De NVL72 combineert rekenchips, geheugen, interconnects, netwerkcomponenten, dataverwerking en koeling in één racksysteem. NVIDIA noemt binnen het Rubin-platform de Rubin-GPU, Vera-CPU, NVLink 6-switch, ConnectX-9 SuperNIC, BlueField-4-DPU en Spectrum-X Ethernet CPO als belangrijke onderdelen.

Een dergelijke configuratie draait niet op lucht en kabels alleen. De NVL72 gebruikt vloeistofkoeling, terwijl de netwerk- en opslaglaag ervoor moet zorgen dat de GPU's niet op elkaar wachten.

Wanneer het netwerk onderdeel van de computer wordt

CoreWeave beschrijft zijn multi-rackarchitectuur als tweelaags en non-blocking, met meerdere rails en planes. Elke Rubin-GPU heeft volgens CoreWeave twee ConnectX-9 SuperNIC's, samen goed voor maximaal 1,6 Tbps aan schaalbare netwerkverbinding per GPU.

Dat is geen detail voor een datasheet. In een gedistribueerde AI-taak moeten veel GPU's tegelijk gegevens uitwisselen. Een trage verbinding, een probleem met een switch of een defecte kabel kan daardoor een veel groter werkproces ophouden dan één afzonderlijke server. CoreWeave test de omgeving daarom ook door snellere GPU-naar-GPU-verbindingen uit te schakelen en verkeer via het backendnetwerk te sturen. Zo komen zwakke plekken in switches, bekabeling, software en andere netwerkonderdelen sneller aan het licht.

Rackbeheer is óók software

CoreWeave behandelt het rack als een operationele eenheid. Racky verzorgt het uniforme rackbeheer, Valvey regelt de programmeerbare vloeistofkoeling per rack en de Rack LifeCycle Controller ondersteunt handelingen gedurende de levenscyclus van het rack.

Die laag is belangrijk omdat multi-rack-AI niet alleen draait om het plaatsen van meer GPU's. Het systeem moet racks kunnen inschakelen, beheren, onderhouden en bij storingen gecontroleerd laten doorwerken. NVIDIA toont voor Vera Rubin een modulaire compute tray en claimt dat onderhoud daardoor sneller kan verlopen dan bij Blackwell. Dion Harris, senior director of AI infrastructure bij NVIDIA, stelde dat een handeling die bij Blackwell twee uur zou duren bij Vera Rubin in vijf minuten kan worden uitgevoerd. Dat blijft een claim van NVIDIA, maar de modulaire opbouw is precies het soort ontwerp dat servicewerk op rackniveau moet vereenvoudigen.

Data dichter bij de GPU's

Ook opslag krijgt in deze opstelling een plaats naast de rekeninfrastructuur. CoreWeave gebruikt LOTA, oftewel de Local Object Transport Accelerator, als lokaal NVMe-eindpunt voor gecachete objectdata.

CoreWeave claimt dat LOTA de latentie tot acht keer kan verlagen tegenover rechtstreekse leesbewerkingen uit traditionele objectopslag. Onder geschikte werkbelasting en cachecondities noemt het bedrijf bovendien maximaal 7 GB/s per GPU. De aanpak moet voorkomen dat GPU's onnodig wachten op data uit een verder weg gelegen opslaglaag.

Voor objectdata die tussen regio's moet worden verplaatst, zegt CoreWeave dat de migratie doorgaans binnen 72 uur wordt voltooid, terwijl workloads de lokale duurzame kopie blijven gebruiken.