Dostęp do 16-rdzeniowego procesora za mniej niż 650 dolarów to imponujące osiągnięcie, ale taka konfiguracja blednie w porównaniu z mocą, jakiej potrzebują niektóre superkomputery. Przypadek Cerebras Andromeda wyróżnia się nie tylko przytłaczającą liczbą rdzeni, ale też rodzajem wykonywanej pracy, skupiając się w pełni na sztucznej inteligencji.
Jednym z najczęstszych problemów w informatyce jest skalowanie, a raczej jego brak. Chodzi o to, by rzucić dwa razy więcej sprzętu na problem i oczekiwać rozwiązania w połowie czasu, tylko po to, by odkryć, że to tak nie działa. Jednak równoległość znacznie się poprawiła, pozwalając osiągać niezwykłe poziomy wydajności. Bez przesady, superkomputer Frontier jako pierwszy przekroczył barierę exaFLOP, sumując prawie dziewięć milionów rdzeni w procesorach i GPU.
Majac to na uwadze, docieramy do bram Cerebras, która właśnie oficjalnie zaprezentowała swój superkomputer Andromeda. Pierwsze, co zaskakuje w Andromedzie, to całkowita liczba rdzeni – 13,5 miliona, żeby być precyzyjnym. Nie oznacza to jednak, że przewyższa Frontiera pod względem wydajności. W rzeczywistości mamy do czynienia z dwiema różnymi istotami, zarówno pod względem zastosowania, jak i kosztów. O ile Frontier może symulować żywotność reaktora jądrowego czy atakować problemy genetyczne, o tyle priorytetem Andromedy jest sztuczna inteligencja.
Cerebras Andromeda: prawie idealne skalowanie
Oficjalna strona Andromedy poświęca całą sekcję zdolności skalowania superkomputera w "dużych modelach językowych" (LLM), takich jak GPT-3, GPT-J i GPT-NeoX. Jego konfiguracja opiera się na 16 systemach Cerebras CS-2, rozwijających od 14,5 do 15,8 razy wydajność pojedynczego CS-2. Cerebras mówi o ponad exaFLOPie w "operacjach sztucznej inteligencji" i 120 petaFLOPach "operacji gęstych", łącząc ogromną liczbę rdzeni, pamięć RAM i pamięć masową SSD.
Innym bardzo interesującym aspektem Andromedy jest konstrukcja jej procesora, WSE-2. To układ typu wafer-scale, który wykorzystuje prawie całą płytkę krzemową i ma trzy fizyczne warstwy. Pierwsza służy do komunikacji, druga gromadzi 40 gigabajtów SRAM (znacznie droższej i szybszej niż DRAM w naszych komputerach), a trzecia do operacji arytmetycznych, z 850 tysiącami niezależnych rdzeni i 3,4 miliona jednostek zmiennoprzecinkowych. Każdy z węzłów jest podłączony do backplane'a z przepustowością sięgającą 96,8 terabitów na sekundę.
Jakby tego było mało, Andromeda ma również bank procesorów AMD EPYC (18 176 rdzeni łącznie), które przygotowują i koordynują dane do analizy. Ile kosztuje cały ten sprzęt? W pieniądzach: 35 milionów dolarów na budowę. W energii: około 500 kilowatów pod pełnym obciążeniem.
Oficjalna strona: Kliknij tutaj Źródło: ExtremeTech
