Jak działają filtry Snapchata?

Snapchat oficjalnie nazywa je «Soczewkami», ale każda sieć społecznościowa musi podążać za swoimi użytkownikami, którzy nazwali je po prostu «filtrami». Te filtry nakładają różne efekty i elementy w czasie rzeczywistym, co pozwala im bez większych problemów przekraczać granicę rzeczywistości rozszerzonej. Ale jak dokładnie działają? Krótko mówiąc: dużo rozpoznawania twarzy, armia algorytmów i moc obliczeniowa nowoczesnych smartfonów sprawiają, że jest to możliwe.

Wieniec z kwiatów, którego nie ma, zamiany twarzy, oczy duchów i demonów, psie nosy... małe «cyfrowe głupotki» renderowane w czasie rzeczywistym, z potencjałem do całkowitej zmiany doświadczenia w tej sieci społecznościowej i sprawienia, że niejeden zapyta: «Jak oni to robią?»

Jak działają filtry Snapchata

Według tego filmu opublikowanego przez ekipę Vox, technologia została przejęta przez Snapchata poprzez zakup ukraińskiej firmy o nazwie Looksery. Wiele źródeł podaje, że Snapchat zapłacił 150 milionów dolarów za Looksery, co było największym przejęciem na ukraińskim rynku technologicznym do tej pory. Ogólnie rzecz biorąc, mamy do czynienia z wyraźnym przykładem rozpoznawania obiektów (w końcu nasza twarz nie przestaje być obiektem dla systemu), które w tym przypadku przypisuje konkretną wartość koloru każdemu pikselowi, a następnie oblicza i interpretuje różne obszary kontrastu na twarzy.

«Rama wykrywania Viola-Jonesa»

Film wspomina o «ramie wykrywania Viola-Jonesa», pierwszej tego typu, której rozwój rozpoczął się w 2001 roku. Dzięki długim sesjom treningowym i wielokrotnym analizom algorytm może rozpoznawać bardzo specyficzne aspekty twarzy, ponieważ przód nosa bywa jaśniejszy niż jego boki, «pasmo» oczu jest ciemniejsze, a czoło jaśniejsze.

To jednak nie wystarczy. Viola-Jones potrafi określić, czy na obrazie jest twarz, czy nie, ale patenty wskazują na «aktywny model kształtu», w istocie statystyczny model twarzy, który został wytrenowany ręcznie, podkreślając krawędzie cech twarzy na tysiącach i tysiącach publicznych próbek. Algorytm przyjmuje standardowy model, umieszcza go na twarzy użytkownika, modyfikuje jego skalę i kąt, stosuje dynamiczne poprawki na podstawie danych dostarczanych przez piksele i w ten sposób uzyskuje trójwymiarową maskę, która reaguje na informacje z każdej klatki przekazywanej przez kamerę.

To sprawia, że nasza twarz staje się serią punktów zaczepienia dla efektów, deformacji i «wyzwalaczy» animacji (na przykład długi język, gdy otwieramy usta). Najbardziej wymagającą funkcją wśród filtrów jest zamiana twarzy, a ze względu na ogromną ilość informacji, które trzeba przetworzyć, wyniki nie zawsze są optymalne.

Zasadniczo filtry Snapchata opierają się na koncepcji sprzed prawie dwudziestu lat, która w końcu mogła zostać wdrożona w czasie rzeczywistym, dzięki wielordzeniowym procesorom, przyspieszonym modułom wideo i całym gigabajtom pamięci RAM w naszych smartfonach.

Źródło: