Sztuczna inteligencja już nas opanowała, ale teraz staje przed nowymi wyzwaniami. Jednym z nich jest wydajność: utrzymanie tak wielu modeli online wymaga dużo energii, a niektóre firmy stawiają na „wydajność na wat”, aby promować swoje produkty. W ten sposób docieramy do Raspberry Pi AI Kit, pakietu sprzętu kompatybilnego z Raspberry Pi 5, przeznaczonego do przyspieszania zadań „uczenia maszynowego”, takich jak rozpoznawanie obiektów, detekcja póz, segmentacja obrazów i inne aplikacje zależne od kamery.
Chcesz lokalną sztuczną inteligencję? Wystarczy zainstalować Ollamę i pobrać jeden z kompatybilnych modeli. Chociaż będziesz potrzebować mocy obliczeniowej (w tym miejsca na dysku) i dużej dawki cierpliwości, gdy zaczną bredzić, prawda jest taka, że proces nie sprawia większych problemów, a całe oprogramowanie jest darmowe.
Jednak istnieją inne zastosowania wykraczające poza czat. W tym kierunku zmierza Raspberry Pi Foundation ze swoim nowym produktem, Raspberry Pi AI Kit. Ten pakiet zawiera dwa komponenty: adapter M.2 HAT+ oraz moduł akceleratora oparty na chipie Hailo-8L.
Co można zrobić z Raspberry Pi AI Kit?
Jeff Geerling w swoim najnowszym filmie wyjaśnia, że mocną stroną Raspberry Pi AI Kit są zadania wizyjne. Najbardziej godne uwagi jest to, że układ Hailo-8L osiąga od 3 do 4 TOPS na wat, przewyższając swoich bezpośrednich konkurentów pod względem wydajności i ceny. Nie ma sensu trenowanie modelu na tym sprzęcie (trzeba będzie czekać kilka dni), ale wzrost wydajności w niektórych środowiskach jest znaczący. Na przykład YOLOv5 działa z prędkością dwóch lub trzech klatek na sekundę na procesorze Raspberry Pi, jednak przeniesienie obliczeń jest całkowite, uwalniając procesor do innych zastosowań.
Oczywiście nie oznacza to, że Raspberry Pi AI Kit jest odpowiedni do każdego obciążenia. Generowanie obrazów i modele językowe (czytaj „ChatGPT”) to rzeczy wymagające znacznie więcej sprzętu… ale to nie jest niemożliwe. Jeśli moduł jest dostępny i dobrze udokumentowany, pojawi się oprogramowanie, a przy cenie 70 dolarów prawdopodobnie zrobi więcej hałasu, niż możemy sobie wyobrazić.
Oficjalna strona: Kliknij tutaj
