Hypnos dzieli uczenie ciągłe między mikrokontroler RISC-V a inteligentną ładowarkę: urządzenie wykonuje lekkie aktualizacje, a ładowarka przeprowadza bardziej wymagającą konsolidację. Dzięki temu część pracy odbywa się na brzegu sieci, bez uruchamiania tam wstecznej propagacji błędu.
Opóźnienie urządzenia opisuje tylko pierwszy etap — konsolidacja w ładowarce to osobna część procesu.
Jak Hypnos dzieli uczenie między urządzenie a ładowarkę
Podczas pracy urządzenie aktualizuje prototypy klas i zachowuje skompresowane reprezentacje danych. Nie wykonuje przy tym wstecznej propagacji błędu, czyli obliczeń używanych do korygowania wag modelu. Ładowarka odtwarza zapisane reprezentacje i przeprowadza konsolidację z użyciem replay — ponownego wykorzystania wcześniejszych danych — po czym odsyła zaktualizowane parametry.
Opisany układ nie wymaga serwera treningowego w chmurze. Nie oznacza to jednak, że każda możliwa integracja lub ścieżka danych w dowolnym wdrożeniu musi obywać się bez usług chmurowych.
Model i sprzęt użyte w ewaluacji
Według opisu implementacji Hypnos wykorzystuje zamrożony ekstraktor cech MobileNetV3-Large, klasyfikator prototypowy aktualizowany na bieżąco oraz koder kwantyzacji produktowej, który kompresuje reprezentacje. W części urządzeniowej pracuje mikrokontroler X-HEEP z RISC-V i akceleratory do obliczeń macierzowych oraz operacji związanych z prototypami i kompresją; te szczegóły opisał IoT Tech News.
Autorzy podają, że ewaluację przeprowadzili na układzie FPGA ZCU104, a projekt zsyntetyzowali w procesie 28 nm. Są to warunki badawczej ewaluacji, nie pomiar działania gotowego produktu w terenie. Abstrakt pracy Hypnos
Co mierzą raportowane wyniki
Na benchmarku CORe50 NICv2-391 abstrakt podaje dokładność od 78,6% do 81,6% oraz opóźnienie urządzenia od 7,79 do 10,54 sekundy na próbkę, zależnie od precyzji aktywacji. Nie przypisuje jednak obu krańców tych zakresów do konkretnych precyzji. Abstrakt pracy Hypnos
IoT Tech News przypisał konfiguracji z aktywacjami INT8 dokładność 78,6% i opóźnienie 7,79 sekundy na próbkę. Ta druga wartość dotyczy obliczeń na urządzeniu i nie obejmuje konsolidacji wykonywanej przez ładowarkę.
W tym samym opisie podano 33,3 mW dla pracy ciągłej na podstawie wyników syntezy oraz bufor replay o pojemności 5,48 MB po stronie ładowarki. Pierwsza liczba pochodzi z syntezy, a nie z pomiaru w działającym urządzeniu.
W porównaniu z metodą quantized latent replay autorzy raportują 3,8 raza mniej kroków uczenia i 22 razy mniej obliczeń podczas uczenia, a także wyższą dokładność i porównywalne opóźnienie. Zestawienie dotyczy wyników badawczych na CORe50 NICv2-391.