Ein 16-Kern-Prozessor für weniger als 650 Dollar ist ein beeindruckender Erfolg, aber das wird winzig, wenn man es mit der Feuerkraft vergleicht, die manche Supercomputer benötigen. Der Cerebras Andromeda sticht nicht nur wegen seiner schieren Anzahl an Kernen hervor, sondern auch wegen der Art von Arbeit, die er verrichtet – er ist voll auf künstliche Intelligenz ausgerichtet.
Eines der häufigsten Probleme in der Informatik ist das Skalieren – oder besser gesagt, dessen Fehlen. Ich meine damit, doppelte Hardware auf ein Problem zu werfen und zu erwarten, es in der halben Zeit zu lösen, nur um dann festzustellen, dass es nicht so funktioniert. Aber das Parallelisieren hat sich enorm verbessert und ermöglicht außergewöhnliche Leistungsniveaus. Der Supercomputer Frontier war der erste, der die ExaFLOP-Grenze überschritt, mit fast neun Millionen Kernen aus Prozessoren und GPUs. Damit kommen wir zu Cerebras, das gerade offiziell seinen Supercomputer Andromeda vorgestellt hat, wie ExtremeTech berichtet.
Cerebras Andromeda: Fast perfektes Skalieren
Die offizielle Seite von Andromeda widmet einen ganzen Abschnitt der Skalierungsfähigkeit des Supercomputers bei „großen Sprachmodellen“ (LLMs) wie GPT-3, GPT-J und GPT-NeoX. Die Konfiguration basiert auf 16 Cerebras-CS-2-Systemen und erreicht zwischen dem 14,5- und 15,8-fachen der Leistung eines einzelnen CS-2. Cerebras spricht von mehr als einem ExaFLOP bei „KI-Operationen“ und 120 PetaFLOPs bei „dichten Operationen“, was eine enorme Anzahl von Kernen, RAM und Solid-State-Speicher kombiniert.
Hinzu kommt, dass das Hinzufügen weiterer Knoten fast perfekt skaliert.
Ein weiterer interessanter Aspekt von Andromeda ist das Design seines Prozessors, des WSE-2. Es handelt sich um einen Wafer-Scale-Chip, der fast die gesamte Siliziumscheibe verwendet und über drei physische Ebenen verfügt. Die erste dient der Kommunikation, die zweite enthält 40 Gigabyte SRAM – deutlich teurer und schneller als das DRAM unserer Computer – und die dritte ist für arithmetische Operationen zuständig, mit 850.000 unabhängigen Kernen und 3,4 Millionen Gleitkomma-Einheiten. Jeder Knoten ist mit einem Backplane verbunden, dessen Bandbreite 96,8 Terabit pro Sekunde erreicht.
Darüber hinaus verfügt Andromeda über einen Bank von AMD-EPYC-Prozessoren (18.176 Kerne insgesamt), die die zu analysierenden Daten vorbereiten und koordinieren. Was kostet diese Hardware? 35 Millionen Dollar für den Bau und etwa 500 Kilowatt unter voller Last.
Auf der offiziellen Website von Cerebras gibt es weitere Details. Die Informationen basieren auf einem Bericht von ExtremeTech.
