Toegang tot een 16-core processor voor minder dan $650 is een indrukwekkende prestatie, maar die configuratie wordt onbeduidend vergeleken met de vuurkracht die sommige supercomputers nodig hebben. Het geval van de Cerebras Andromeda valt niet alleen op vanwege het angstaanjagende aantal kernen, maar ook vanwege het soort werk dat het doet, volledig gericht op kunstmatige intelligentie.
Een van de meest voorkomende problemen in de informatica is schaalbaarheid, of beter gezegd, het gebrek eraan. Ik bedoel: twee keer zoveel hardware op een probleem gooien en verwachten dat je het in de helft van de tijd oplost, alleen om te ontdekken dat het zo niet werkt. Maar parallelisme is enorm verbeterd, waardoor we buitengewone prestatieniveaus kunnen bereiken. Om maar niet te ver te gaan: de supercomputer Frontier was de eerste die de exaFLOP-barrière overschreed, met bijna negen miljoen kernen verdeeld over processors en GPU's.
Met dat in gedachten komen we aan bij de deuren van Cerebras, dat zojuist officieel zijn supercomputer Andromeda heeft gepresenteerd. Het eerste dat verrast aan Andromeda is het totale aantal kernen: 13,5 miljoen om precies te zijn. Dat betekent echter niet dat het Frontier overtreft in prestaties. We hebben eigenlijk te maken met twee verschillende wezens, zowel in toepassing als in kosten. Terwijl Frontier de levensduur van een kernreactor kan simuleren of genetische problemen kan aanpakken, is de prioriteit van Andromeda kunstmatige intelligentie.
Cerebras Andromeda: Bijna perfecte schaalbaarheid
De officiële pagina van Andromeda besteedt een hele sectie aan de schaalbaarheid van de supercomputer bij "grote taalmodellen" (lees: LLM) zoals GPT-3, GPT-J en GPT-NeoX. De configuratie is gebaseerd op 16 Cerebras CS-2-systemen, die tussen 14,5 en 15,8 keer de prestaties van een individuele CS-2 leveren. Cerebras spreekt van meer dan een exaFLOP aan "AI-bewerkingen" en 120 petaFLOPs aan "dichte bewerkingen", een combinatie van een enorme hoeveelheid kernen, RAM-geheugen en solid-state opslag.
Een ander interessant aspect van Andromeda is het ontwerp van de processor, de WSE-2. Het is een "wafer-scale" chip die bijna de hele siliciumschijf gebruikt en drie fysieke vlakken heeft. De eerste is voor communicatie, de tweede bevat 40 gigabyte SRAM (veel duurder en sneller dan de DRAM in onze computers), en de derde is voor rekenkundige bewerkingen, met 850.000 onafhankelijke kernen en 3,4 miljoen drijvende-komma-eenheden. Elk van de nodes is verbonden met een backplane met een bandbreedte van 96,8 terabit per seconde.
Alsof dat nog niet genoeg is, heeft Andromeda ook een bank van AMD EPYC-processors (in totaal 18.176 kernen) die de te analyseren gegevens voorbereiden en coördineren. Hoeveel kost al deze hardware? In geld: 35 miljoen dollar voor de constructie. In energie: ongeveer 500 kilowatt onder volledige belasting.
Officiële site: Klik hier Bron: ExtremeTech
