Meta licht netwerk en bouw van Prometheus toe

Meta heeft toegelicht hoe het de gebouwen van zijn AI-cluster Prometheus met elkaar verbindt en de bouw probeert te versnellen. Tijdens de OCP Global Summit in San Jose op 12 oktober 2026 beschreef infrastructuurchef Santosh Janardhan een centrale Ethernet-netwerklaag, miljoenen kilometers glasvezel en grote tentconstructies. Dat meldde journalist Linda Hardesty in haar verslag van de presentatie.

Prometheus ligt in New Albany, Ohio. Meta zegt dat het cluster na voltooiing een capaciteit van 1 GW moet leveren. Het bedrijf beschrijft in zijn technische uitleg over Prometheus hoe het de netwerken van afzonderlijke datacenters koppelt. Daar zit de interessante uitdaging: tienduizenden GPU’s neerzetten is één ding, ze efficiënt laten samenwerken vraagt ook om een netwerk dat de onderlinge communicatie aankan.

Het netwerk achter de Ethernet-super-spine

Volgens Janardhan omvat Prometheus meer dan dertig bouwwerken en tienduizenden GPU’s. Hij schatte de gezamenlijke lengte van de netwerkglasvezels op ongeveer 3 tot 4 miljoen kilometer, zo rapporteerde Hardesty. Die hoeveelheid telt de afzonderlijke vezels bij elkaar op; veel vezels kunnen door dezelfde leiding lopen.

Janardhan legde het netwerkprobleem uit aan de hand van AI-training: de langzaamste communicatie tussen twee GPU’s kan de voortgang bepalen. De verbindingen tussen gebouwen zijn daardoor onderdeel van de rekeninfrastructuur zelf. Zijn beschrijving van een Ethernet-super-spine komt neer op het samenbrengen van de centrale netwerklagen van de gebouwen in een regionale aggregatielaag.

Meta noemt die laag backend aggregation, kortweg BAG. Ze verbindt regionale netwerkstructuren — in netwerkjargon fabrics — met elkaar en met Meta’s backbone, het overkoepelende transportnetwerk. Onder BAG liggen onder meer de regionale L2-fabrics van de DSF- en NSF-architecturen.

Voor verbindingen tussen BAG-lagen noemt Meta als capaciteitsvoorbeeld 16 tot 48 petabit per seconde per regiopaar. Dat getal beschrijft de gezamenlijke verbinding tussen twee regio’s. De ontwerpvraag is vervolgens hoe je die capaciteit over verbindingen verdeelt en hoeveel alternatieve routes je creëert.

Eenvoudiger beheer of meer uitwijkroutes

Meta beschrijft twee manieren om BAG-lagen te verbinden. Bij planaire verbindingen is het beheer eenvoudiger, maar zijn mogelijke storingsdomeinen sterker geconcentreerd. Een storingsdomein is het deel van een netwerk dat door dezelfde storing kan worden geraakt.

Bij de zogeheten spread-verbindingen worden de koppelingen meer verspreid. Volgens Meta levert dat meer verschillende routes en een grotere veerkracht op. Het praktische verschil zit dus in de gevolgen van een storing: meer routekeuze geeft het netwerk meer mogelijkheden om verkeer via een andere verbinding af te handelen.

Ook de verhouding tussen de onderliggende netwerken en BAG telt mee. Meta noemt ongeveer 4,5:1 als gebruikelijke oversubscriptieverhouding van L2 naar BAG. Oversubscriptie betekent dat de gezamenlijke capaciteit aan de onderliggende kant groter is dan die van de verbindingen naar de volgende laag. Als alle onderliggende verbindingen tegelijk hun maximale capaciteit vragen, ontstaat daar een knelpunt. Voor een afzonderlijk uitgewerkt NSF-ontwerp noemt Meta een effectieve verhouding van 4,98:1.

De beschreven BAG-hardware gebruikt modulaire chassis met Jericho3-netwerkchips. Voor de routering zet Meta eBGP in, een protocol waarmee routers bereikbare routes uitwisselen. Bandbreedtekenmerken helpen het verkeer met UCMP over paden met verschillende capaciteit te verdelen. De verbindingen tussen BAG-lagen worden met MACsec beveiligd. Het ontwerp draait daarmee om meer dan veel glasvezel: ook de verdeling, routering en beveiliging van het verkeer krijgen een eigen rol.

Welke hardware Meta eerder op OCP beschreef

Een eerdere technische presentatie geeft meer context over de apparatuur waarvoor zulke netwerken worden ontworpen. Open Compute Project publiceerde die presentatie op 22 oktober 2025. Meta-programmamanagers Maggie Han en Abhinav Triguna bespraken daarin acceleratorplatforms, opslag, algemene rekenservers en de onderlinge verbindingen.

Maggie Han presenteerde twee acceleratorplatforms:

• Clemente, met NVIDIA GB300 en 72 GPU’s in een GPU-rack.
• Catalina, met NVIDIA GB200 en twee gekoppelde GPU-racks van elk 36 GPU’s, een opstelling van 36 × 2.

Daarnaast beschreef ze Grand Canyon voor grootschalige opslag op harde schijven, en Olympic en Yosemite V3.5 Crater Lake voor flashopslag. Yosemite V3.5 Halfdome en Yosemite V4 kwamen aan bod als platforms voor algemene rekentaken. Die verdeling laat zien hoe Meta in deze presentatie verschillende taken aan verschillende soorten systemen koppelde: accelerators, opslag en algemene verwerking kregen elk hun eigen platforms.

Abhinav Triguna besprak de netwerkkant. DSF staat voor disaggregated scheduled fabric, een opgesplitste netwerkarchitectuur met geplande verkeersafhandeling. Hij koppelde die aan Broadcom Jericho 3 AI en Ramone 3. Voor NSF, non-scheduled fabric, beschreef hij Minipack 3-switches met 400 GbE.

Triguna benadrukte ook de noodzaak van vervangingsstrategieën bij hardwarestoringen en ondersteuning voor meerdere generaties accelerators. Op deze schaal gaat netwerkontwerp dus eveneens over onderhoud en flexibiliteit. De platformdetails horen bij de technische presentatie die in 2025 werd gepubliceerd.

Tentconstructies en beton met hulp van AI

De bouwmethode moet volgens Janardhan eveneens tijd besparen. In het door Hardesty beschreven summitoptreden zei hij dat Prometheus tentconstructies gebruikt die minstens twee velden voor American football lang zijn. De bouw daarvan kost volgens hem maanden in plaats van jaren, en de constructies zijn berekend op een orkaan van categorie 1.

Janardhan besprak daarnaast Meta’s werk aan betonmengsels met hulp van AI. Hij schreef aan een door Meta ontwikkelde formulering 19% minder koolstof, 43% snellere uitharding en gelijkblijvende kosten toe.

Hoe zo’n ontwikkelproces werkt, legt Meta uit in zijn publicatie over AI voor cement en beton van 30 maart 2026. Het systeem BOxCrete — Bayesian Optimization for Concrete — gebruikt historische gegevens en randvoorwaarden om mengsels voor te stellen. Resultaten uit het laboratorium gaan vervolgens terug het systeem in, zodat de volgende voorstellen op de uitkomsten kunnen voortbouwen.

Dat is een iteratief ontwerpproces: voorstellen, testen en bijstellen. Volgens Meta blijven laboratoriumvalidatie, praktijkproeven, goedkeuring door ingenieurs en naleving van bouwvoorschriften noodzakelijk.

Een concrete toepassing die Meta in die publicatie beschrijft, ligt in Rosemount, Minnesota. Bij een vloerplaat van een datacentergebouw bereikte het gebruikte mengsel volgens het bedrijf de volledige constructieve sterkte 43% sneller dan de oorspronkelijke formulering. Meta meldde daarbij een bijna 10% lager risico op scheurvorming. Die resultaten betreffen de vloerplaat in Rosemount en meten de tijd tot volledige constructieve sterkte en het scheurrisico.

Hyperion is een afzonderlijk project in Louisiana

Tijdens dezelfde summitpresentatie besprak Janardhan ook Hyperion, een afzonderlijk gepland Meta-cluster in Richland Parish, Louisiana. Hij noemde daarvoor een capaciteit van 5 GW. De projecten hebben daarmee elk hun eigen locatie en capaciteitsdoel.

Janardhan beschreef voor Hyperion bovendien een terrein van ongeveer 1.600 hectare.