Ed Bott meldde in een op 6 november gepubliceerd verslag bij ZDNET dat hij met een HP OmniBook Ultra met NVIDIA RTX Spark 479 lokale inferentieaanroepen uitvoerde en bijna 50 miljoen logische tokens verwerkte. De inferentiekosten bedroegen volgens hem $0; dat bedrag slaat niet op de computer of de stroom voor het project.

Dit is een ander gebruiksscenario dan de eerdere NeoTeo-vergelijking van RTX Spark met Snapdragon X2: Bott gebruikte de laptop voor een codeerproject dat een archief van online artikelen opleverde.

De lokale AI-setup die Bott gebruikte

Copilot hielp Bott met het instellen van llama.cpp, het model met open gewichten Qwen3.8-27B en Cline in Visual Studio Code. llama.cpp is de software waarmee het model lokaal inferenties uitvoert. Bott zegt dat de configuratie minder dan een halfuur kostte.

Vervolgens werkte Cline aan een toepassing op basis van Bott’s gedetailleerde specificatie. De programmeeragent schreef code, voerde tests uit en paste het resultaat aan; Bott keurde tussendoor af en toe stappen goed.

Het project leverde duizenden archiefbestanden op

Bott begon met een spreadsheet met artikellinks die hij in twee jaar had verzameld. Het project leverde 1.951 ruwe HTML-bestanden en 1.951 Markdown-bestanden op, plus een script om later nieuwe artikelen toe te voegen.

Ongeveer 90 links gaven een 404-fout. Bott probeerde de bijbehorende pagina’s terug te halen via de Wayback Machine van Internet Archive. Nog eens ongeveer 90 pagina’s kon hij niet ophalen. Bott zegt dat hij daarna ongeveer een halfuur besteedde aan het nalopen en oplossen van de resterende problemen.

Tijdens het werk aan modellen hoorde Bott de ventilatoren duidelijk. De laptop werd volgens hem niet onaangenaam warm; voor deze werklast vond hij gebruik op een bureau prettiger dan op schoot.

De nul dollar slaat alleen op inferentiekosten

De $0 betreft Bott’s kosten voor de inferentieaanroepen in dit project. Het bedrag zegt niets over de aanschaf van de laptop of het stroomverbruik. Het is een resultaat van één gebruikssituatie, geen algemene snelheidsmeting voor RTX Spark.

Wie lokale AI als mogelijke besparing bekijkt, moet de aanschaf van geschikte hardware en het stroomverbruik naast de kosten per inferentie zetten.

Bott beschreef zijn testapparaat met 128 GB gedeeld geheugen en 2 TB Gen5 NVMe-opslag. HP vermeldt in een Amerikaanse productvermelding een andere configuratie: SKU E5AW2UA#ABA heeft 64 GB RAM, een SSD van 2 TB, een 16-inch touchscreen met 3K-resolutie en Windows 11 Home. Die productvermelding beschrijft dus niet Bott’s testconfiguratie. HP’s productpagina koppelt deze specificaties aan de genoemde SKU.

Gebruikers noemen ook redenen naast geld besparen

In een discussie over lokale AI op Reddit noemen deelnemers privacy, controle, leren en hobbyplezier als redenen om modellen lokaal te gebruiken. Anderen vinden dat nieuwe hardware kopen uitsluitend voor financieel rendement geen overtuigende reden is. Het zijn persoonlijke standpunten over verschillende opstellingen, geen beoordeling van de HP-laptop.