De kunstmatige intelligentie heeft ons al overspoeld, maar staat nu voor nieuwe uitdagingen. Een daarvan is efficiëntie: het online houden van zoveel modellen vereist veel energie, en sommige bedrijven zetten in op "prestatie per watt" om hun producten te promoten. Zo komen we bij de Raspberry Pi AI Kit, een hardwarepakket dat compatibel is met de Raspberry Pi 5 en bedoeld is om taken zoals "machine learning" te versnellen, zoals objectherkenning, pose-detectie, beeldsegmentatie en andere toepassingen die afhankelijk zijn van een camera.
Wil je een lokale kunstmatige intelligentie? Tegenwoordig volstaat het om Ollama te installeren en een van de compatibele modellen te downloaden. Hoewel je rekenkracht nodig hebt om ze correct te laten draaien (inclusief schijfruimte) en een flinke dosis geduld wanneer ze beginnen te hallucineren, is het proces niet al te ingewikkeld en is alle software gratis.
Er zijn echter ook andere toepassingen die verder gaan dan chatten. Daar richt de Raspberry Pi Foundation zich op met haar nieuwe product, de Raspberry Pi AI Kit. Dit pakket bevat twee onderdelen: een M.2 HAT+ adapter en de eigenlijke acceleratormodule, gebaseerd op de Hailo-8L-chip.
Wat kun je doen met de Raspberry Pi AI Kit?
Jeff Geerling legt in zijn laatste video uit dat de kracht van de Raspberry Pi AI Kit ligt in visuele taken. Het meest opvallende is dat de Hailo-8L-chip tussen de 3 en 4 TOPS per watt haalt, en daarmee zijn directe concurrenten overtreft op het gebied van efficiëntie en prijs. Het heeft echter geen zin om een model op deze hardware te trainen (daar zou je dagen op moeten wachten), maar de prestatieverbetering in bepaalde omgevingen is opmerkelijk. Zo draait YOLOv5 met twee of drie frames per seconde op de CPU van de Raspberry Pi, maar met de AI-module is de offloading volledig, waardoor de processor vrijkomt voor andere toepassingen.
Dit betekent uiteraard niet dat de Raspberry Pi AI Kit geschikt is voor elke werklast. Het genereren van afbeeldingen en taalmodellen (denk aan 'ChatGPT') vereist veel meer hardware… maar onmogelijk is het ook niet. Als de module toegankelijk is en goed gedocumenteerd, zal de software vanzelf verschijnen, en met 70 dollar op het prijskaartje zal hij waarschijnlijk meer opschudding veroorzaken dan we denken.
Officiële website: Klik hier
