Hypnos divide l’apprendimento continuo tra un dispositivo RISC-V e un caricatore intelligente: il dispositivo aggiorna prototipi e conserva rappresentazioni compresse, mentre il caricatore esegue il consolidamento con replay e restituisce i parametri aggiornati. In questo modo la fase sul dispositivo non esegue la retropropagazione dell’errore, il calcolo che normalmente aggiorna i pesi di una rete neurale.
Per capire la latenza dichiarata, separa il lavoro del dispositivo da quello successivo del caricatore: sono due fasi diverse.
Come Hypnos divide l’apprendimento tra dispositivo e caricatore
Durante la fase sul dispositivo, un estrattore di caratteristiche MobileNetV3-Large, mantenuto congelato, alimenta un classificatore prototipico online e un codificatore che comprime le rappresentazioni. Il classificatore aggiorna i prototipi man mano che arrivano nuovi dati; il dispositivo conserva le codifiche compresse per la fase successiva. La descrizione tecnica pubblicata da IoT Tech News riferisce che qui non viene eseguita la retropropagazione.
Il caricatore intelligente dispone di alimentazione di rete e di più memoria. Decodifica le rappresentazioni conservate, usa il replay — il riutilizzo di dati memorizzati per riprendere l’addestramento — ed esegue gli aggiornamenti con gradiente. Poi restituisce al dispositivo i parametri consolidati. L’architettura descritta non richiede un server di addestramento in cloud.
Quale modello e quale hardware sono stati valutati
Il lavoro descrive un sistema per apprendimento continuo sul benchmark CORe50 NICv2-391. Gli autori riferiscono di averlo distribuito su una FPGA ZCU104 e di aver sintetizzato il progetto con un processo a 28 nm, due condizioni della valutazione di ricerca. L’abstract del lavoro su arXiv presenta inoltre i risultati del benchmark e il confronto con il replay latente quantizzato.
Che cosa misurano i risultati riportati
Sull’insieme CORe50 NICv2-391, l’abstract riporta un’accuratezza compresa tra il 78,6% e l’81,6% e una latenza sul dispositivo tra 7,79 e 10,54 secondi per campione, in funzione della precisione delle attivazioni. Per la configurazione con attivazioni INT8, il resoconto di IoT Tech News indica un’accuratezza del 78,6% e 7,79 secondi per campione sul dispositivo: quest’ultimo valore non include il consolidamento svolto dal caricatore.
Rispetto al replay latente quantizzato, gli autori riportano 3,8 volte meno passaggi di apprendimento e 22 volte meno calcolo per l’apprendimento, oltre a un’accuratezza superiore e una latenza comparabile. Sono risultati riferiti alla valutazione di ricerca sul benchmark, non a misure sul campo. Il resoconto tecnico di IoT Tech News attribuisce inoltre alla sintesi un consumo di 33,3 mW durante il funzionamento continuo e indica un buffer di replay di 5,48 MB sul caricatore.
I 7,79 secondi descrivono quindi l’elaborazione sul dispositivo nella configurazione INT8; la fase di consolidamento sul caricatore è separata.