Ed Bott relata 479 chamadas de inferência e quase 50 milhões de tokens lógicos em um projeto de programação e arquivamento com IA local no HP OmniBook Ultra com RTX Spark. A cobrança pelas inferências foi de US$ 0; esse valor não corresponde ao custo total do computador ou do projeto, segundo o relato publicado por Bott.

Ao avaliar IA local, separe o custo das chamadas ao modelo do preço do hardware e da energia usada para executá-lo.

Como Bott montou o fluxo de programação

Bott conta que usou o Copilot para configurar o llama.cpp, um programa de código aberto para executar modelos de IA, e o modelo de pesos abertos Qwen3.8-27B. No Visual Studio Code, trabalhou com o Cline, uma ferramenta de programação que escreve e ajusta código. A configuração levou menos de meia hora, segundo o relato.

Com uma especificação detalhada do aplicativo, o Cline produziu código, executou testes e revisou as respostas em ciclos. Bott aprovou algumas etapas manualmente. Uma chamada de inferência é uma execução do modelo para processar uma solicitação; nesse projeto, foram 479.

A comparação anterior da NeoTeo entre o RTX Spark e o Snapdragon X2 examinou outro uso de IA local, com modelos no Hermes. O relato de Bott se concentra em automatizar programação e organizar um arquivo de artigos.

O arquivo reuniu milhares de páginas em dois formatos

Bott partiu de uma planilha de links para artigos que havia reunido ao longo de dois anos. O fluxo gerou 1.951 arquivos HTML brutos e 1.951 arquivos Markdown, além de um script para acrescentar novos textos ao arquivo.

Quando cerca de 90 links retornaram erro 404, Bott tentou recuperar as páginas pela Wayback Machine. Outras cerca de 90 continuaram sem recuperação. Ele relata ter passado aproximadamente 30 minutos revisando os problemas restantes.

Durante o trabalho com os modelos, Bott ouviu as ventoinhas do notebook, mas disse que o aparelho não esquentou a ponto de causar desconforto. Para essa tarefa, preferiu deixá-lo sobre uma mesa.

Os US$ 0 se referem às taxas de inferência

A cifra de US$ 0 cobre as cobranças de inferência relatadas por Bott. Não é o preço do notebook nem o custo total do projeto, que envolve o hardware; Bott não incluiu uma medição de energia. O resultado descreve uma tarefa e uma configuração específicas, não uma medição padronizada de velocidade ou uma comparação reproduzida por terceiros.

A configuração usada por Bott tinha 128 GB de memória unificada. Já a página da HP nos Estados Unidos lista a SKU E5AW2UA#ABA com RTX Spark, 64 GB de RAM e SSD de 2 TB. É uma configuração diferente da que Bott descreve, conforme a página de produto da HP.

Em escala de plataforma, a NVIDIA anuncia para o RTX Spark até 128 GB de memória unificada e até 1 petaflop de desempenho de IA em FP4. Esses limites anunciados descrevem a plataforma; não são medições do projeto de Bott nem especificações de toda configuração vendida pela HP, segundo a página da NVIDIA.

O que os usuários valorizam na IA local

Em uma discussão sobre IA local, alguns participantes citaram privacidade, controle, aprendizado e interesse por experimentação. Outros desaconselharam comprar hardware novo contando apenas com retorno financeiro. São opiniões pessoais sobre configurações variadas, não avaliações do notebook da HP, como mostra a discussão na comunidade r/LocalLLM.