Hypnos verdeelt continu leren over twee plekken: een RISC-V-apparaat werkt tijdens gebruik prototypes bij en bewaart gecomprimeerde representaties, waarna een slimme oplader die informatie gebruikt om het model verder te trainen. De onderzoekers beschrijven de aanpak in een paper over het Hypnos-platform.

Hoe Hypnos het leren verdeelt over apparaat en oplader

Het RISC-V-apparaat voert de lichte aanpassingen uit; de oplader doet de intensievere trainingsstap. Op het apparaat staat een bevroren MobileNetV3-Large-model dat kenmerken uit invoer haalt. Een classifier werkt online prototypes bij: representaties die bij een klasse horen. Een encoder voor productkwantisatie comprimeert die representaties, die vervolgens voor replay worden bewaard. Op het apparaat zelf draait geen foutterugpropagatie.

Tijdens de consolidatiefase decodeert de oplader de gecomprimeerde representaties en gebruikt die opnieuw bij gradiëntupdates. Daarna stuurt hij de bijgewerkte modelparameters terug naar het apparaat. Zo is de leertaak verdeeld: het apparaat past zich met beperkte middelen aan, terwijl de oplader het zwaardere replaywerk uitvoert. De beschreven architectuur vereist geen cloudserver voor training.

De kern van Hypnos is de taakverdeling: lichte updates aan de rand, replay-consolidatie op de oplader.

Het model en de hardware van de evaluatie

De implementatie gebruikt een X-HEEP-microcontroller op basis van RISC-V. Een Quadrilatero-matrixcoprocessor versnelt matrixbewerkingen; een compacte accelerator ondersteunt onder meer dieptegewijze convoluties, herkwantisering, prototypebewerkingen en het coderen van productkwantisatie.

De onderzoekers rapporteren evaluatie op een ZCU104-FPGA en synthese met een 28-nm-proces. Dat plaatst de resultaten in de context van een onderzoeksimplementatie. Wie meer achtergrond wil over de rol van RISC-V-kernen en AI-versnellers, kan ook de uitleg over RISC-V en AI-versnellers van NeoTeo lezen.

Wat de gerapporteerde resultaten meten

Op benchmark CORe50 NICv2-391 rapporteren de onderzoekers een nauwkeurigheid van 78,6% tot 81,6% en een apparaatlatentie van 7,79 tot 10,54 seconden per voorbeeld. Beide bereiken hangen af van de activatieprecisie. Voor de INT8-configuratie wordt 78,6% nauwkeurigheid genoemd. De bijbehorende 7,79 seconden per voorbeeld betreft verwerking op het apparaat; de consolidatie door de oplader telt niet mee.

In de vergelijking met quantized latent replay rapporteren de onderzoekers 3,8 keer minder leerstappen en 22 keer minder rekenwerk voor het leren. Ook melden zij een hogere nauwkeurigheid en vergelijkbare latentie. Dit zijn resultaten van de beschreven onderzoeksvergelijking.

Voor continu bedrijf noemen de onderzoekers een verbruik van 33,3 mW op basis van synthese. De replaybuffer aan de kant van de oplader is 5,48 MB.