Acessar um processador de 16 núcleos por menos de 650 dólares é uma conquista impressionante, mas essa configuração se torna insignificante quando comparada ao poder de fogo necessário para alguns supercomputadores. O caso do Cerebras Andromeda se destaca não apenas pelo número assustador de núcleos, mas também pelo tipo de trabalho que realiza, mirando diretamente a inteligência artificial.
Um dos problemas mais comuns na computação é o escalonamento, ou melhor, a sua falta. Refiro-me a jogar o dobro de hardware em um problema e esperar resolvê-lo na metade do tempo, apenas para descobrir que as coisas não funcionam assim. Mas o paralelismo melhorou muito, permitindo alcançar níveis extraordinários de desempenho. Sem ir muito longe, o supercomputador Frontier foi o primeiro a cruzar a barreira do exaFLOP, somando quase nove milhões de núcleos entre processadores e GPUs.
Com isso em mente, chegamos às portas da Cerebras, que acaba de apresentar oficialmente seu supercomputador Andromeda.
Cerebras Andromeda: um escalonamento quase perfeito
A página oficial do Andromeda dedica uma seção inteira à capacidade de escalonamento do supercomputador em “grandes modelos de linguagem” (leia-se LLM) como GPT-3, GPT-J e GPT-NeoX. Sua configuração é baseada em 16 sistemas Cerebras CS-2, desenvolvendo entre 14,5 e 15,8 vezes o desempenho de um CS-2 individual. A Cerebras fala de mais de um exaFLOP em “operações de inteligência artificial” e 120 petaFLOPs em “operações densas”, combinando uma enorme quantidade de núcleos, memória RAM e armazenamento de estado sólido.
Outro aspecto muito interessante do Andromeda é o design de seu processador, o WSE-2. Trata-se de um chip “wafer-scale”, que utiliza quase toda a bolacha de silício, e possui três planos físicos. O primeiro deles é para comunicações, o segundo acumula 40 gigabytes de SRAM (muito mais cara e rápida que a DRAM de nossos computadores), e o terceiro é para operações aritméticas, com 850 mil núcleos independentes e 3,4 milhões de unidades de ponto flutuante. Cada um dos nós está conectado a um backplane com uma largura de banda que atinge 96,8 terabits por segundo.
Como se não bastasse, o Andromeda também possui um conjunto de processadores AMD EPYC (18.176 núcleos no total), que preparam e coordenam os dados a serem analisados. Quanto custa todo esse hardware? Em dinheiro, 35 milhões de dólares para sua construção. Em energia, aproximadamente 500 quilowatts sob carga completa.
Site oficial: Clique aqui
Fonte: ExtremeTech
