O Snapchat chama os filtros pelo nome oficial "Lentes", mas toda rede social precisa acompanhar o ritmo dos seus usuários, que os batizaram simplesmente de "filtros". Esses filtros aplicam diferentes efeitos e elementos em tempo real, o que lhes permite cruzar sem grandes dificuldades a fronteira da realidade aumentada. Mas, afinal, como eles funcionam exatamente? Em poucas palavras: muito reconhecimento facial, um batalhão de algoritmos e o poder de processamento dos smartphones modernos tornam isso possível.
Uma coroa de flores que não está ali, trocas de rostos, olhos de fantasmas e demônios, narizes de cachorro... pequenas "bobagens digitais" renderizadas em tempo real, com potencial de mudar completamente a experiência nessa rede social e fazer com que mais de um se pergunte: "Como eles conseguem fazer isso?"
Como funcionam os filtros do Snapchat
De acordo com este vídeo publicado pelo pessoal do Vox, a tecnologia foi assimilada pelo Snapchat por meio da aquisição de uma empresa ucraniana chamada Looksery. Múltiplas fontes relatam que o Snapchat pagou 150 milhões de dólares pela Looksery, a maior aquisição já registrada no mercado tecnológico ucraniano até a data. Em termos gerais, estamos diante de um exemplo contundente de reconhecimento de objetos (afinal, nosso rosto não deixa de ser um objeto para o sistema), que neste caso atribui um valor de cor específico a cada pixel e, a partir daí, calcula e interpreta as diferentes áreas de contraste em um rosto.
"Estrutura de detecção Viola-Jones"
O vídeo menciona a "estrutura de detecção Viola-Jones", a primeira do tipo, cujo desenvolvimento começou no ano de 2001. Graças a longas sessões de treinamento e múltiplas análises, o algoritmo consegue reconhecer aspectos muito específicos de um rosto: a parte da frente do nariz tende a ser mais clara que os lados, a "faixa" dos olhos é mais escura e a testa mais brilhante.
No entanto, isso não é suficiente. A Viola-Jones tem a capacidade de determinar se na imagem há um rosto ou não, mas as patentes apontam para um "modelo de forma ativo", em essência, um modelo estatístico de um rosto que foi treinado à mão, destacando as bordas de características faciais em milhares e milhares de amostras públicas. O algoritmo toma como referência um modelo padrão, coloca-o sobre o rosto do usuário, modifica sua escala e ângulo, aplica ajustes dinâmicos baseados nos dados apresentados pelos pixels e obtém assim uma máscara tridimensional que reage de acordo com as informações obtidas em cada quadro transmitido pela câmera.
Isso transforma nosso rosto em uma série de pontos de ancoragem para efeitos, deformações e "gatilhos" de animações (por exemplo, uma língua comprida quando abrimos a boca). A função mais exigente entre os filtros é a troca de rostos, e, devido à enorme quantidade de informações que precisam ser processadas, os resultados nem sempre são ótimos.
Basicamente, os filtros do Snapchat se apoiam em um conceito com quase vinte anos de desenvolvimento, que finalmente pôde ser implementado em tempo real, graças a processadores multi-núcleo, módulos acelerados de vídeo e gigabytes inteiros de RAM em nossos smartphones.
