Cerebras verdeelt in een Kimi K3-rekenvoorbeeld 93 modellagen over 59 WSE-3T-wafers. AI-modellen deployen betekent hier dat de modelgewichten over die wafers worden verdeeld en aanvragen vervolgens door de verwerkingsfasen lopen. De berekening gaat uit van 4-bit gewichten, een 8-bit KV-cache en gemiddeld 256.000 tokens per aanvraag.
Hoe Cerebras op 59 wafers uitkomt
Kimi K3 telt volgens Cerebras ongeveer 3 biljoen parameters: 69 linear-attentionlagen en 24 dense lagen. Bij 4 bits per parameter komt de ruwe hoeveelheid gewichtdata uit op 1,5 terabyte. Verdeeld over 93 lagen is dat ongeveer 16 GB per laag. Een WSE-3T-wafer heeft volgens Cerebras 44 GB SRAM, snel statisch geheugen op de chip.
De twee soorten lagen krijgen een andere plek. Een dense laag bewaart voor elke token in elke actieve aanvraag sleutels en waarden in de KV-cache. Een linear-attentionlaag gebruikt in plaats daarvan per aanvraag een kleine, vaste toestand. Daardoor passen er in Cerebras’ voorbeeld twee linear-attentionlagen op één wafer, terwijl elke dense laag een eigen wafer krijgt en de resterende ruimte voor de KV-cache gebruikt.
| Laagtype | Aantal Kimi K3-lagen | Lagen per wafer | Wafers in het voorbeeld | Geheugenindeling |
| Linear attention | 69 | 2 | 35 | Twee lagen per wafer; de status per aanvraag blijft klein en vast. |
| Dense | 24 | 1 | 24 | Eén laag per wafer; de resterende SRAM is voor de KV-cache. |
De afronding naar 35 wafers voor 69 linear-attentionlagen brengt de som op 35 + 24 = 59 wafers. Dat aantal hoort bij de gekozen gewichten, cache en aanvraaggrootte in dit voorbeeld.
Hoe verzoeken door de waferpipeline lopen
Een pipeline verdeelt de berekening in opeenvolgende fasen. Cerebras’ compiler plaatst de modellagen op wafergebieden; de runtime bepaalt hoe tokens tussen die fasen bewegen. De modelgewichten blijven doorgaans op hun plek. De activaties, de tussenresultaten van de berekening, gaan door naar de volgende wafer via RDMA over Ethernet. RDMA staat voor directe geheugentoegang op afstand; Cerebras noemt circa 2 microseconden per sprong.
Terwijl de ene fase aan een aanvraag werkt, kunnen andere fasen tegelijk aan andere aanvragen werken. Een microbatch is een kleine groep aanvragen die samen door een fase gaat. Kleinere microbatches bevoordelen de snelheid per aanvraag; grotere microbatches verhogen de totale doorvoer. Cerebras noemt token-doorvoer per eenheid vermogen, gemeten bij dezelfde generatiesnelheid, als maatstaf voor efficiëntie.
Wat de schatting van circa 190 verzoeken inhoudt
Voor een wafer met een dense laag rekent Cerebras met ongeveer 28 GB resterende cache-ruimte: 44 GB SRAM min circa 16 GB voor de laag. In de berekening gebruikt één aanvraag van 256.000 tokens ongeveer 147 MB cache. Die waarden leveren een schatting op van circa 190 gelijktijdige verzoeken binnen de beschreven configuratie.
Een SDK-route is iets anders dan de waferindeling
De AI SDK-documentatie voor Cerebras beschrijft hoe een applicatie Cerebras-modellen kan aanroepen. In AI Gateway geeft order: ['cerebras'] de voorkeur aan Cerebras; als de aanbieder niet beschikbaar is of de aanvraag mislukt, kan Gateway uitwijken naar een andere beschikbare aanbieder van hetzelfde model. De directe provider @ai-sdk/cerebras gebruikt CEREBRAS_API_KEY en is bedoeld voor provider-specifieke API’s of aangepaste verbindingsinstellingen. Gateway-keuze en directe providerintegratie regelen de applicatieroute; de verdeling van modellagen over wafers is de hardware-indeling.
