Die künstliche Intelligenz hat uns bereits übernommen, steht aber vor neuen Herausforderungen. Eine davon ist die Effizienz: So viele Modelle online zu halten erfordert viel Energie, und einige Unternehmen setzen auf „Leistung pro Watt“ um ihre Produkte zu bewerben. So gelangen wir zum Raspberry Pi AI Kit, einem Hardware-Paket, das mit dem Raspberry Pi 5 kompatibel ist und darauf ausgelegt ist, Aufgaben des „maschinellen Lernens“ zu beschleunigen, wie Objekterkennung, Posenschätzung, Bildsegmentierung und andere Anwendungen, die von einer Kamera abhängen.
Möchten Sie eine lokale künstliche Intelligenz? Heutzutage reicht es, Ollama zu installieren und einige der kompatiblen Modelle herunterzuladen. Zwar benötigen Sie dafür Rechenleistung (einschließlich Speicherplatz) und eine gute Portion Geduld, wenn sie anfangen zu halluzinieren, aber der Prozess bereitet keine größeren Kopfschmerzen, und die gesamte Software ist kostenlos.
Es gibt jedoch auch andere Anwendungen, die über den Chat hinausgehen. In diese Richtung zielt die Raspberry Pi Foundation mit ihrem neuen Produkt, dem Raspberry Pi AI Kit. Dieses Paket enthält zwei Komponenten: einen M.2-HAT+-Adapter und das eigentliche Beschleunigermodul, das auf dem Hailo-8L-Chip basiert.
Was kann man mit dem Raspberry Pi AI Kit machen?
Jeff Geerling erklärt in seinem neuesten Video, dass die Stärke des Raspberry Pi AI Kit in visuellen Aufgaben liegt. Am bemerkenswertesten ist, dass der Hailo-8L-Chip etwa 3 bis 4 TOPS pro Watt erreicht und damit seine direkten Konkurrenten in Effizienz und Preis übertrifft. Es macht zwar keinen Sinn, ein Modell auf dieser Hardware zu trainieren (man müsste mehrere Tage warten), aber der Leistungssprung in bestimmten Umgebungen ist bemerkenswert. Zum Beispiel läuft YOLOv5 mit zwei oder drei Bildern pro Sekunde auf der CPU des Raspberry Pi, doch mit dem AI-Modul ist das Offloading vollständig, sodass der Prozessor für andere Anwendungen frei wird.
Natürlich bedeutet das nicht, dass das Raspberry Pi AI Kit für jede Arbeitslast geeignet ist. Bildgenerierung und Sprachmodelle (also „ChatGPT“) erfordern viel mehr Hardware … aber auch das ist nicht unmöglich. Wenn das Modul erschwinglich und gut dokumentiert ist, wird die Software erscheinen, und mit 70 Dollar auf dem Preisschild wird es wahrscheinlich mehr Wellen schlagen, als wir uns vorstellen.
Offizielle Website: Klicken Sie hier
