Durante un intervento registrato alla sesta RISC-V China Summit, svoltasi a Shenzhen dal 18 al 20 ottobre, David Patterson ha definito RISC-V l’unica architettura del set di istruzioni (ISA) commercialmente sostenibile per costruire sistemi di intelligenza artificiale (IA), secondo il resoconto di EET China. La precedente copertura di NeoTeo sul summit ne aveva indicato sede e date.
La tesi di Patterson riguarda i requisiti per progettare hardware con l’aiuto dell’IA. Non è una misurazione comparativa della velocità dei processori RISC-V, x86 e Arm nei carichi di lavoro dell’IA.
Perché Patterson indica RISC-V per l’IA
Patterson cita tre qualità: una specifica formale e completa, la possibilità di personalizzare l’architettura e una struttura modulare. Insieme, sostiene, queste caratteristiche possono aiutare i sistemi di IA a progettare e verificare hardware, lasciando agli implementatori la possibilità di scegliere quali componenti adottare senza compromettere la compatibilità del software.
L’argomento fa leva sulla flessibilità di RISC-V. Perché diventi utile nello sviluppo di sistemi di IA, però, serve anche un ecosistema capace di coordinare le estensioni e fornire il software che le supporta.
Che cosa prevede il progetto IME
RISC-V International descrive l’Integrated Matrix Extension (IME) come un progetto che intende basarsi sulle estensioni vettoriali RISC-V (RVV) e definire istruzioni matriciali che operino sui registri vettoriali già esistenti. Il gruppo valuta più soluzioni secondo criteri architetturali e microarchitetturali, con l’obiettivo di selezionarne una adatta a implementazioni che vanno dai nuclei embedded a quelli per applicazioni e calcolo ad alte prestazioni (HPC). La descrizione ufficiale del progetto IME inquadra quindi un lavoro di progettazione e valutazione.
Nel resoconto dell’intervento compaiono quattro percorsi per l’accelerazione matriciale: Zvbdot, IME, VME e AME. Patterson indica la standardizzazione come una priorità per evitare che soluzioni sovrapposte frammentino l’ecosistema.
Formati numerici e supporto software
Patterson ha parlato di formati a virgola mobile usati nei calcoli: FP64, FP32, FP16 e BF16, oltre a FP8 nelle varianti E5M2 ed E4M3. Il resoconto cita anche FP6 e FP4 tra i formati discussi nel settore. Il supporto a queste rappresentazioni è una delle attività che, secondo la sua argomentazione, l’ecosistema RISC-V deve affrontare per l’IA; i formati citati non corrispondono automaticamente a funzioni disponibili in ogni processore.
Per quali dati Patterson propone HBF
Patterson propone la High-Bandwidth Flash (HBF), una soluzione basata su memoria flash impilata accanto a un ASIC, per dati grandi, sparsi e letti spesso. Gli esempi citati sono i pesi dei modelli, le basi di conoscenza usate nella generazione aumentata dal recupero (RAG) e le cache KV precalcolate, cioè strutture di chiavi e valori impiegate durante l’inferenza.
La proposta comporta compromessi: la lettura avrebbe una latenza maggiore, l’accesso avverrebbe per pagine, per esempio da 4 KB, e la scrittura avrebbe prestazioni ed endurance limitate. Nello schema descritto, una parte della cache KV resterebbe in DRAM standard, mentre HBF sarebbe destinata agli altri dati voluminosi e prevalentemente in lettura.
Tra le priorità indicate da Patterson figurano la standardizzazione delle estensioni matriciali, il supporto ai formati numerici e al software per l’IA e l’uso dell’IA per progettare, ottimizzare e verificare hardware RISC-V.
