Wie funktionieren Snapchat-Filter?

Snapchat nennt sie offiziell „Linsen“, aber jede soziale Netzwerk muss dem Tempo seiner Nutzer folgen, die sie einfach „Filter“ getauft haben. Diese Filter wenden verschiedene Effekte und Elemente in Echtzeit an, wodurch sie ohne große Probleme die Grenze der erweiterten Realität überschreiten können. Aber wie genau funktionieren sie? Kurz gesagt: viel Gesichtserkennung, ein Bataillon an Algorithmen und die Rechenleistung moderner Smartphones machen das möglich.

Eine Blumenkrone, die nicht da ist, Gesichtstausch, Geister- und Dämonenaugen, Hundenasen… kleine „digitale Albernheiten“ in Echtzeit gerendert, mit dem Potenzial, die Erfahrung in diesem sozialen Netzwerk völlig zu verändern, und die mehr als einen dazu bringen, sich zu fragen: „Wie schaffen sie das?“

So funktionieren Snapchat-Filter

Laut diesem Video, das von den Leuten bei Vox veröffentlicht wurde, wurde die Technologie von Snapchat durch die Übernahme eines ukrainischen Unternehmens namens Looksery übernommen. Mehrere Quellen berichten, dass Snapchat 150 Millionen Dollar für Looksery bezahlt hat, die größte Übernahme, die jemals auf dem ukrainischen Technologiemarkt verzeichnet wurde. Im Allgemeinen haben wir es mit einem deutlichen Beispiel für Objekterkennung zu tun (schließlich ist unser Gesicht für das System nur ein Objekt), das in diesem Fall jedem Pixel einen bestimmten Farbwert zuweist und von dort aus die verschiedenen Kontrastbereiche in einem Gesicht berechnet und interpretiert.

„Viola-Jones-Erkennungsrahmen“

Das Video erwähnt den „Viola-Jones-Erkennungsrahmen“, den ersten seiner Art, dessen Entwicklung im Jahr 2001 begann. Dank langer Trainingssitzungen und zahlreicher Analysen kann der Algorithmus sehr spezifische Aspekte eines Gesichts erkennen, da die Vorderseite der Nase tendenziell heller ist als ihre Seiten, das „Band“ der Augen dunkler ist und die Stirn heller.

Das reicht jedoch nicht. Viola-Jones hat die Fähigkeit zu bestimmen, ob in einem Bild ein Gesicht vorhanden ist oder nicht, aber die Patente weisen auf ein „aktives Formmodell“ hin, im Wesentlichen ein statistisches Modell eines Gesichts, das von Hand trainiert wurde, wobei die Kanten von Gesichtsmerkmalen in Tausenden und Abertausenden öffentlichen Stichproben hervorgehoben werden. Der Algorithmus nimmt ein Standardmodell als Referenz, legt es über das Gesicht des Benutzers, ändert seine Skalierung und seinen Winkel, wendet dynamische Anpassungen an, die auf den Pixeldaten basieren, und erhält so eine dreidimensionale Maske, die entsprechend den Informationen reagiert, die in jedem von der Kamera übertragenen Bild gewonnen werden.

Dadurch wird unser Gesicht zu einer Reihe von Ankerpunkten für Effekte, Verzerrungen und „Auslöser“ von Animationen (zum Beispiel eine lange Zunge, wenn wir den Mund öffnen). Die anspruchsvollste Funktion unter den Filtern ist der Gesichtstausch, und aufgrund der enormen Menge an Informationen, die verarbeitet werden müssen, sind die Ergebnisse nicht immer optimal.

Im Grunde stützen sich die Snapchat-Filter auf ein Konzept mit fast zwanzig Jahren Entwicklung, das endlich in Echtzeit implementiert werden konnte, dank Multi-Core-Prozessoren, beschleunigten Videomodulen und ganzen Gigabytes an RAM in unseren Smartphones.

Quelle: