Accéder à un processeur à 16 cœurs pour moins de 650 dollars est une réalisation impressionnante, mais cette configuration devient insignifiante quand on la compare à la puissance de feu dont certains superordinateurs ont besoin. Le cas du Cerebras Andromeda se distingue non seulement par son nombre effrayant de cœurs, mais aussi par le type de travail qu’il effectue, visant directement l’intelligence artificielle.
L’un des problèmes les plus courants en informatique est la mise à l’échelle, ou plutôt son absence. Je parle de jeter deux fois plus de matériel sur un problème et d’espérer le résoudre en moitié moins de temps, pour découvrir que les choses ne fonctionnent pas ainsi. Mais le parallélisme s’est énormément amélioré, nous permettant d’atteindre des niveaux de performance extraordinaires. Sans aller trop loin, le superordinateur Frontier a été le premier à franchir la barrière de l’exaFLOP, cumulant près de neuf millions de cœurs entre processeurs et GPU.
En gardant cela à l’esprit, nous arrivons aux portes de Cerebras, qui vient de présenter officiellement son superordinateur Andromeda. La première chose qui surprend chez Andromeda est le nombre total de cœurs, 13,5 millions pour être plus précis. Cependant, cela ne signifie pas qu’il dépasse Frontier en performance. En fait, nous avons affaire à deux créatures différentes, tant par l’application que par le coût. Alors que Frontier peut simuler la durée de vie d’un réacteur nucléaire ou s’attaquer à des problèmes de génétique, la priorité d’Andromeda est l’intelligence artificielle.
Cerebras Andromeda : une mise à l’échelle presque parfaite
La page officielle d’Andromeda consacre une section entière à la capacité de mise à l’échelle du superordinateur pour les « grands modèles de langage » (soit LLM) comme GPT-3, GPT-J et GPT-NeoX. Sa configuration repose sur 16 systèmes Cerebras CS-2, développant entre 14,5 et 15,8 fois les performances d’un CS-2 individuel. Cerebras parle de plus d’un exaFLOP en « opérations d’intelligence artificielle », et de 120 pétaFLOPs d’« opérations denses », combinant une énorme quantité de cœurs, de mémoire RAM et de stockage SSD.
Un autre aspect très intéressant d’Andromeda est le design de son processeur, le WSE-2. Il s’agit d’une puce « wafer-scale », qui utilise presque toute la galette de silicium et possède trois plans physiques. Le premier est destiné aux communications, le deuxième accumule 40 gigaoctets de SRAM (beaucoup plus chère et plus rapide que la DRAM de nos ordinateurs), et le troisième est destiné aux opérations arithmétiques, avec 850 000 cœurs indépendants et 3,4 millions d’unités en virgule flottante. Chacun des nœuds est connecté à un backplane avec une bande passante atteignant 96,8 térabits par seconde.
Comme si cela ne suffisait pas, Andromeda dispose également d’un banc de processeurs AMD EPYC (18 176 cœurs au total), qui préparent et coordonnent les données à analyser. Combien coûte tout ce matériel ? En argent, 35 millions de dollars pour sa construction. En énergie, environ 500 kilowatts en pleine charge.
Site officiel : Cliquez ici
Source : ExtremeTech
