Come funzionano i filtri di Snapchat?

Snapchat le chiama ufficialmente «Lenti», ma ogni rete sociale deve seguire il ritmo dei propri utenti, che le hanno semplicemente ribattezzate «filtri». Questi filtri applicano effetti ed elementi diversi in tempo reale, riuscendo a varcare senza troppi problemi il confine della realtà aumentata. Ma come funzionano esattamente? In poche parole, molto riconoscimento facciale, un battaglione di algoritmi e la potenza di elaborazione degli smartphone moderni rendono tutto questo possibile.

Una corona di fiori che non c'è, scambi di volti, occhi di fantasmi e demoni, nasi da cane… piccole «sciocchezze digitali» rese in tempo reale, con il potenziale di cambiare completamente l'esperienza di questa rete sociale, e di far sì che più di qualcuno si chieda: «Come fanno a fare quello?».

Come funzionano i filtri di Snapchat

Secondo il video pubblicato dal team di Vox, la tecnologia è stata assimilata da Snapchat attraverso l'acquisizione di una compagnia ucraina chiamata Looksery. Diverse fonti riportano che Snapchat ha pagato 150 milioni di dollari per Looksery, l'acquisizione più grande mai registrata nel mercato tecnologico ucraino fino ad oggi. In termini generali, siamo di fronte a un esempio lampante di riconoscimento di oggetti (dopotutto, il nostro viso non è altro che un oggetto per il sistema), che in questo caso assegna un valore di colore specifico a ciascun pixel, e da lì calcola e interpreta le diverse aree di contrasto del volto.

«Quadro di rilevamento Viola-Jones»

Il video menziona il «quadro di rilevamento Viola-Jones», il primo del suo genere, il cui sviluppo è iniziato nel 2001. Grazie a lunghe sessioni di addestramento e a molteplici analisi, l'algoritmo può riconoscere aspetti molto specifici di un volto, poiché la parte anteriore del naso tende a essere più chiara dei lati, la «banda» degli occhi è più scura e la fronte più luminosa.

Tuttavia, questo non basta. Viola-Jones ha la capacità di determinare se nell'immagine c'è o non c'è un volto, ma i brevetti puntano a un «modello di forma attiva», in sostanza, un modello statistico di un volto che è stato addestrato a mano, evidenziando i bordi delle caratteristiche facciali in migliaia e migliaia di campioni pubblici. L'algoritmo prende come riferimento un modello standard, lo posiziona sul volto dell'utente, ne modifica scala e angolo, applica regolazioni dinamiche basate sui dati presentati dai pixel, e ottiene così una maschera tridimensionale che reagisce in base alle informazioni ottenute in ogni fotogramma trasmesso dalla fotocamera.

Questo trasforma il nostro volto in una serie di punti di ancoraggio per effetti, deformazioni e «grilletti» di animazioni (ad esempio, una lingua lunga quando apriamo la bocca). La funzione più impegnativa tra i filtri è lo scambio di volti, e a causa dell'enorme quantità di informazioni da elaborare, i risultati non sono sempre ottimali.

In sostanza, i filtri di Snapchat si basano su un concetto con quasi vent'anni di sviluppo, che finalmente ha potuto essere implementato in tempo reale, grazie a processori multi-core, moduli video accelerati e gigabyte di RAM nei nostri smartphone.

Fonte