Snapchat les appelle officiellement «Lentilles», mais comme toute réseau social, il doit suivre le rythme de ses utilisateurs, qui les ont simplement baptisés «filtres». Ces filtres appliquent différents effets et éléments en temps réel, ce qui leur permet de franchir sans trop d'encombres la frontière de la réalité augmentée. Mais comment fonctionnent-ils exactement ? En bref, beaucoup de reconnaissance faciale, une armée d'algorithmes et la puissance de traitement des smartphones modernes rendent cela possible.
Une couronne de fleurs qui n'est pas là, des échanges de visages, des yeux de fantômes et de démons, des nez de chien… de petites «bêtises numériques» rendues en temps réel, avec le potentiel de changer complètement l'expérience sur ce réseau social, et de faire que plus d'un se demande : «Comment font-ils cela ?»
Comment fonctionnent les filtres Snapchat
D'après cette vidéo publiée par l'équipe de Vox, la technologie a été assimilée par Snapchat via l'acquisition d'une société ukrainienne appelée Looksery. De nombreuses sources rapportent que Snapchat a payé 150 millions de dollars pour Looksery, la plus grande acquisition jamais enregistrée sur le marché technologique ukrainien à ce jour. En termes généraux, nous avons un exemple frappant de reconnaissance d'objets (après tout, notre visage n'est pas autre chose qu'un objet pour le système), qui attribue une valeur de couleur spécifique à chaque pixel, puis à partir de là, calcule et interprète les différentes zones de contraste sur un visage.
«Cadre de détection Viola-Jones»
La vidéo mentionne le «cadre de détection Viola-Jones», le premier du genre, dont le développement a commencé en 2001. Grâce à de longues sessions d'entraînement et à de multiples analyses, l'algorithme peut reconnaître des aspects très spécifiques d'un visage, car le devant du nez a tendance à être plus clair que ses côtés, la «bande» des yeux est plus sombre et le front plus brillant.
Cependant, cela ne suffit pas. Viola-Jones est capable de déterminer s'il y a un visage dans l'image ou non, mais les brevets pointent vers un «modèle de forme actif», en substance, un modèle statistique d'un visage qui a été entraîné à la main, mettant en évidence les bords des caractéristiques faciales sur des milliers et des milliers d'échantillons publics. L'algorithme prend comme référence un modèle standard, le place sur le visage de l'utilisateur, modifie son échelle et son angle, applique des ajustements dynamiques basés sur les données présentées par les pixels, et obtient ainsi un masque tridimensionnel qui réagit selon les informations obtenues à chaque image transmise par la caméra.
Cela transforme notre visage en une série de points d'ancrage pour les effets, déformations et «déclencheurs» d'animations (par exemple, une longue langue lorsque nous ouvrons la bouche). La fonction la plus exigeante parmi les filtres est l'échange de visages, et en raison de l'énorme quantité d'informations à traiter, les résultats ne sont pas toujours optimaux.
En résumé, les filtres de Snapchat s'appuient sur un concept avec près de vingt ans de développement, qui a finalement pu être implémenté en temps réel, grâce aux processeurs multi-cœurs, aux modules vidéo accélérés et à des gigaoctets entiers de RAM dans nos smartphones.
