In un articolo tecnico pubblicato il 22 ottobre 2026, Cerebras ha descritto un esempio in cui distribuisce i 93 layer di Kimi K3 su 59 wafer WSE-3T. Il calcolo presuppone pesi a 4 bit, una cache KV a 8 bit e richieste medie da 256.000 token: è una configurazione illustrativa, non una regola valida per ogni modello.
La memoria di ciascun wafer determina quanti layer può ospitare e quanta cache resta per le richieste attive. Da qui dipendono sia la mappa del modello sia la stima di concorrenza.
Perché l’esempio Kimi K3 usa 59 wafer
Cerebras descrive Kimi K3 come un modello da circa 3.000 miliardi di parametri, con 69 layer di attenzione lineare e 24 layer densi. Un layer è uno stadio di calcolo della rete neurale; la distinzione tra i due tipi conta perché richiedono quantità diverse di memoria per le richieste.
Con i pesi a 4 bit, Cerebras calcola un ingombro grezzo di circa 1,5 TB, pari a circa 16 GB per layer dividendo il totale per 93. Ogni wafer WSE-3T, secondo l’azienda, dispone di 44 GB di SRAM, una memoria integrata nel chip.
| Tipo di layer | Layer di Kimi K3 | Layer per wafer nell’esempio | Wafer nell’esempio | Uso della memoria residua |
| Attenzione lineare | 69 | 2 | 35 | Stato ridotto per richiesta |
| Denso | 24 | 1 | 24 | Cache KV |
Cerebras assegna due layer lineari per wafer: circa 32 GB dei 44 GB disponibili ospitano i pesi. Per i layer densi ne colloca uno per wafer, lasciando memoria alla cache KV, cioè ai valori e alle chiavi conservati per i token delle richieste attive. La somma è 35 wafer per i layer lineari e 24 per quelli densi, 59 in totale.
La differenza dipende dal modo in cui i due layer gestiscono il contesto. Nell’esempio, ogni layer denso conserva nella cache KV informazioni relative ai token delle richieste; il layer lineare usa invece uno stato piccolo e fisso per richiesta, indipendente dalla lunghezza del contesto.
Come funziona la pipeline tra i wafer
Il compilatore Cerebras distribuisce i layer tra le aree dei wafer; il runtime stabilisce il percorso delle attivazioni, cioè i risultati intermedi che passano da uno stadio al successivo. I pesi restano in memoria sul wafer, mentre le attivazioni attraversano i collegamenti tramite RDMA su Ethernet, una modalità di accesso diretto alla memoria remota. Cerebras indica circa 2 microsecondi per salto tra wafer.
La pipeline si comporta come una catena di montaggio: uno stadio elabora una richiesta mentre altri stadi lavorano su richieste diverse. In questo modo le richieste possono avanzare insieme senza aspettare che una finisca prima di avviare la successiva. Gli stadi possono anche elaborare micro-batch, piccoli gruppi di richieste: quelli più piccoli favoriscono la velocità della singola richiesta, mentre quelli più grandi aumentano il throughput complessivo.
Che cosa significa la stima di circa 190 richieste
Per un wafer con un layer denso, Cerebras stima circa 28 GB di memoria residua per la cache KV. Nell’esempio, una richiesta da 256.000 token richiede circa 147 MB di cache; dividendo i 28 GB per quel valore, l’azienda arriva a circa 190 richieste simultanee.
È una stima arrotondata basata sulle ipotesi di memoria e dimensione delle richieste indicate sopra. Descrive il calcolo della configurazione, non una capacità di servizio misurata.
L’accesso tramite SDK è un livello diverso
La mappatura sui wafer riguarda l’esecuzione fisica del modello. Per integrare Cerebras in un’applicazione, la documentazione di AI SDK descrive invece sia AI Gateway sia l’accesso diretto al provider.
Nel Gateway, impostare order: ['cerebras'] dà la precedenza a Cerebras, ma consente il fallback verso altri provider disponibili per lo stesso modello se Cerebras non è disponibile o la richiesta fallisce. L’accesso diretto usa @ai-sdk/cerebras e la variabile CEREBRAS_API_KEY; la documentazione lo indica per le API specifiche del provider o per impostazioni di connessione personalizzate.
