Sean Hollister conectou uma placa de desenvolvimento Waveshare ao Meta Muse e programou recursos como respostas faladas, controles para a câmera do celular e um jogo de mascote. O projeto, relatado por Hollister no The Verge, mostra o que ele acrescentou à própria montagem DIY, não o que vem no Muse Charm comercial.

Uma placa de desenvolvimento ligada ao Meta Muse

Hollister usou a Waveshare ESP32-S3-Touch-AMOLED-1.75C, uma placa com tela sensível ao toque, microfones e conectividade sem fio. Ele conectou o dispositivo ao Muse e usou Claude Code para fazer alterações no software.

A Meta mantém o programa Muse Gadgets, com SDKs para projetos DIY em placas ESP32 e dispositivos com Raspberry Pi ou Linux. A página oficial do Muse Gadgets descreve esse caminho de desenvolvimento para hardware de terceiros.

O que a Waveshare ESP32-S3-Touch-AMOLED-1.75C oferece

As especificações abaixo são da Waveshare para o modelo usado no projeto. A placa fornece tela, processamento e conexão sem fio para uma interface compacta, além de componentes de áudio para interações por voz.

ComponenteEspecificação
TelaAMOLED sensível ao toque de 1,75 polegada, resolução de 466 × 466 pixels
ProcessadorESP32-S3R8 LX7 de 32 bits, dois núcleos, até 240 MHz
Memória512 KB de SRAM, 384 KB de ROM, 8 MB de PSRAM e 32 MB de Flash
ConectividadeWi-Fi de 2,4 GHz (802.11 b/g/n), Bluetooth 5 LE e USB-C
ÁudioDois microfones, circuito de cancelamento de eco e alto-falante
Sensor de movimentoIMU de seis eixos, com acelerômetro e giroscópio de três eixos

A ficha técnica da Waveshare lista essas especificações para a ESP32-S3-Touch-AMOLED-1.75C. Na montagem de Hollister, a placa não tinha câmera nem conexão celular 5G. Os controles de câmera que ele programou acessavam a câmera do celular.

O jogo de mascote e os outros recursos programados

Na configuração inicial descrita por Hollister, o dispositivo transcrevia a fala, mas não respondia em voz alta; a tela mostrava poucos termos por vez e havia um único avatar, chamado Jolly. Ele também relatou que o sistema não encontrava automaticamente dispositivos de casa inteligente.

Com Claude Code, Hollister acrescentou um histórico de conversas, respostas faladas com uma voz britânica da ElevenLabs, controles para disparar e visualizar a câmera do celular, mais avatares e um jogo de cuidados com um mascote. O jogo incluía alimentar, brincar, dormir e dar banho no personagem. Fome, tédio e sujeira tinham quatro níveis cada; petiscos aumentavam a sujeira, e brincar demais deixava o mascote cansado.

O autor também relatou ter criado uma interface de relógio de bolso e um reprodutor de vídeo. Para reduzir interrupções prematuras no comando por voz, ele adicionou um filtro que ignorava trechos de áudio com menos de um segundo. Segundo o relato, a latência do servidor ainda variava.

O suporte DIY da Meta e o Muse Charm comercial

O SDK da Meta permite desenvolver projetos Muse para ESP32 e Raspberry Pi/Linux. A empresa informa que o hardware em destaque no programa é fabricado e vendido por outras empresas, sem endosso ou garantia da Meta. A Meta também descreve seus SDKs e firmware como código aberto sob a licença Apache 2.0 e fornecidos sem garantia.

A experiência de Hollister pertence à placa e ao software que ele modificou. Ela não define as especificações nem a possibilidade de programar o Muse Charm comercial. A Meta alerta que alterações em placas podem inutilizá-las ou anular garantias.