Jak Cerebras rozmieszcza Kimi K3 na 59 waflach WSE-3T

Wdrażanie modelu AI na sprzęcie Cerebras polega w tym przykładzie na rozdzieleniu jego warstw między wafle WSE-3T i przesyłaniu aktywacji między kolejnymi etapami obliczeń. W poście z 22 października 2026 roku Cerebras opisała mapowanie Kimi K3, modelu o około 3 bilionach parametrów, na 59 wafli przy założonych parametrach pamięci i żądań.

Wagi pozostają na waferach, a między etapami wędrują aktywacje, czyli wyniki pośrednie potrzebne do obliczenia kolejnego tokenu. To podział pamięci i pracy, który pozwala obsługiwać duży model w potoku.

Skąd wzięło się 59 wafli dla Kimi K3

Cerebras przyjęła w przykładzie 4-bitowe wagi, 8-bitową pamięć podręczną KV (kluczy i wartości) oraz średnie żądanie o długości 256 tys. tokenów. Kimi K3 ma według opisu 69 warstw z liniowym mechanizmem uwagi i 24 warstwy gęste, łącznie 93. Firma podaje, że każdy wafer WSE-3T ma 44 GB pamięci SRAM.

Przy 4 bitach na parametr surowy zapis wag modelu zajmuje w obliczeniu Cerebras 1,5 TB. Podzielenie tej wartości na 93 warstwy daje około 16 GB na warstwę. Taka wielkość wyznacza regułę rozmieszczenia: na wafer przypadają dwie warstwy z liniową uwagą albo jedna warstwa gęsta.

Dla warstw liniowych 69 warstw podzielonych po dwie na wafer wymaga 35 wafli. Każda warstwa gęsta zajmuje osobny wafer, co daje 24 kolejne. Suma 35 i 24 to 59 wafli.

Różnica wynika z pamięci podręcznej. Warstwa gęsta przechowuje klucze i wartości dla tokenów aktywnych żądań, więc potrzebuje miejsca na cache KV. Warstwa z liniową uwagą utrzymuje, według opisu Cerebras, niewielki stan dla każdego żądania, niezależnie od długości kontekstu. Dzięki temu na waferze mieszczą się dwie takie warstwy, zajmujące razem około 32 GB z 44 GB SRAM.

Jak aktywacje przechodzą przez potok

Kompilator Cerebras przypisuje warstwy do obszarów waferów, a środowisko uruchomieniowe wyznacza drogę przepływu tokenów. W opisanym potoku wagi pozostają na swoich etapach, natomiast między nimi przesyłane są aktywacje. Cerebras podaje, że odbywa się to przez RDMA over Ethernet, czyli zdalny bezpośredni dostęp do pamięci przez Ethernet, a przesłanie między sąsiednimi etapami trwa około 2 mikrosekund na przeskok.

Potok może obsługiwać różne żądania równocześnie. Gdy jeden etap przetwarza token żądania A, kolejne etapy mogą w tym samym czasie pracować nad żądaniami B i C. Cerebras opisuje też mikropartie, czyli małe grupy żądań przetwarzane wspólnie: mniejsze sprzyjają szybkości pojedynczego żądania, a większe zwiększają łączną przepustowość.

Co oznacza szacunek około 190 żądań

W obliczeniu Cerebras na waferze z jedną warstwą gęstą pozostaje około 28 GB na cache KV: 44 GB pamięci SRAM minus około 16 GB na warstwę. Firma szacuje, że jedno żądanie o długości 256 tys. tokenów zajmuje około 147 MB cache. Podzielenie 28 GB przez 147 MB daje około 190 równoczesnych żądań dla przyjętej konfiguracji.

To wartość obliczona z założeń o długości żądania i precyzji wag oraz cache. Liczba żądań w potoku zależy też od mikropartii, a sama współbieżność nie opisuje przepustowości energetycznej. Cerebras wskazuje, że przy porównywaniu wydajności istotna jest liczba tokenów na sekundę na jednostkę mocy, mierzona przy tej samej szybkości generowania.

Dostęp przez SDK to osobna warstwa

Mapowanie warstw na wafery opisuje rozmieszczenie obliczeń na sprzęcie. Programista może natomiast korzystać z udokumentowanego dostępu przez AI SDK dla Cerebras, bez samodzielnego rozdzielania warstw modelu.

W AI SDK Gateway ustawienie order: ['cerebras'] oznacza preferencję dostawcy. Jeśli Cerebras jest niedostępny albo żądanie zakończy się błędem, Gateway może przekazać je innemu dostępnemu dostawcy tego samego modelu. To nie gwarantuje kierowania każdego żądania wyłącznie do Cerebras.

Dokumentacja opisuje też bezpośredni dostęp przez pakiet @ai-sdk/cerebras i klucz API przechowywany w zmiennej CEREBRAS_API_KEY. Ta ścieżka jest potrzebna do korzystania z API specyficznych dla Cerebras lub niestandardowych ustawień połączenia.