Microsoft kondigde Azure Maia 300 op 12 oktober 2026 aan als de derde generatie van zijn AI-acceleratorprogramma. Het systeem is bedoeld voor AI-inferentie in datacenters; Microsoft plant de start van productie-uitrol in 2027. De aankondiging van Microsoft beschrijft Maia 300 als een systeem voor het draaien van AI-modellen, niet als een losse AI-toepassing.
Ontworpen voor zware AI-inferentie
Microsoft richt Maia 300 op inferentietaken met lange contexten, geheugenintensieve verwerking en veel decodeerwerk. Het noemt onder meer redeneren over lange contexten, responsieve gesprekservaringen en taken waarbij AI-agenten meerdere stappen uitvoeren. De accelerator maakt deel uit van een datacentersysteem dat chip, software, netwerk, rackinfrastructuur en koeling op elkaar afstemt.
De chip heeft meerdere chiplets. Voor de compute-chiplets noemt Microsoft het N2P-proces van TSMC. De architectuur gebruikt een softwaregedefinieerde dataflow en verdeelt het geheugen niet uniform over de chiplets. Microsofts technische toelichting beschrijft ook de rekenarchitectuur en de netwerk- en koelopzet.
Van accelerator naar rack
Per accelerator noemt Microsoft acht HBM4-stacks, 288 GB geheugen en een piekbandbreedte van 18 TB/s. De accelerator heeft een TDP van 950 W. HBM, oftewel High Bandwidth Memory, is geheugen met een hoge gegevensdoorvoer dat dicht bij de rekenhardware zit.
Een volledig rack bevat 96 accelerators, verdeeld over 24 trays met elk vier accelerators. Microsoft geeft voor het rack een vermogensruimte van 167 kW, 27,6 TB HBM en een gezamenlijke HBM-bandbreedte van 1,7 PB/s op. De 950 W geldt dus per accelerator; de 167 kW beschrijft de vermogensruimte van het volledige rack.
Een tweelaags scale-up-netwerk, gebaseerd op Ethernet met een aangepaste transportlaag voor AI, kan volgens Microsoft superpods met maximaal 12.288 accelerators verbinden. Vloeistofkoeling wordt ingezet voor de accelerators, spanningsregelaars en switch-ASIC's; luchtkoeling ondersteunt het geheugen, de opslag en overige componenten. Microsoft schrijft de vloeistofkoeling meer dan 80% van de thermische belasting van het rack toe.
Wat Microsofts prestatieclaims vergelijken
Voor Maia 300 noemt Microsoft tegenover Maia 200 2,5 keer zoveel geheugenbandbreedte, 33% meer geheugencapaciteit en ongeveer twee keer zoveel HBM-bandbreedte per watt. De technische toelichting noemt daarnaast tot 2,5 keer zoveel prestaties per watt op rackniveau.
Voor een volledig rack met 96 Maia 300-accelerators claimt Microsoft tot zeven keer de tokendoorvoer op rackniveau van Maia 200. Een aparte claim vergelijkt Maia 300 met toonaangevende GPU-systemen: volgens Microsoft levert het systeem 40% meer tokens per megawatt. Microsoft beschrijft deze cijfers in zijn aankondiging; de 40%-claim gaat over tokens per megawatt, terwijl de vergelijking met Maia 200 de tokendoorvoer van een volledig rack betreft.
