In den letzten Monaten haben wir gesehen, wie neuronale Netze Gemälde erschaffen, Videos verändern und sogar sehr interessante Fragen beantworten – aber all das ist Teil des Trainings, das sie erhalten. In jedem Fall gibt es einen Menschen, der das Material auswählt und es dem Netz füttert, um zu sehen, was es damit macht. Der Forscher Terence Broad hat sich etwas ganz Besonderes vorgenommen: Er möchte ein neuronales Netz trainieren, um Video zu dekodieren und zu rekonstruieren. Und die „Quelle“ seiner Arbeit war nichts Geringeres als Blade Runner.
Hintergrund
Alles begann mit einer Handvoll Bildern und der Freiheit, dass ein neuronales Netz damit machen konnte, was es wollte. Danach wurden die Ergebnisse eines Chatbots veröffentlicht, und seine Antworten ließen uns tagelang nachdenken. An diesem Punkt blieb Google keine andere Wahl, als den „künstlerischen Code“ seines neuronalen Netzes DeepDream freizugeben, sodass die Nutzer damit experimentieren konnten, und wenige Tage später wiederholte jemand den ursprünglichen Prozess mit dem Kurzfilm eines Films und erzeugte einen der beeindruckendsten „digitalen Acid-Trips“, die wir gesehen haben. Im Grunde wissen wir alle, dass neuronale Netze das Produkt ihres Trainings sind. Es gibt noch kein „Bewusstsein“ oder einen „Sinn des Selbst“, sozusagen. Das ändert jedoch nichts an der Möglichkeit, dass ein neuronales Netz neue Dinge lernen kann. In diesem speziellen Fall: Video zu rekonstruieren.
Die Arbeit von Terence Broad
Der Forscher Terence Broad wählte für seine Dissertation den Titel „Autocodificando cuadros de vídeo“, was für sich genommen nicht viel aussagt, aber in allgemeineren Begriffen geht es darum, tiefes Lernen und neuronale Netze auf Video anzuwenden, mit dem Ziel, es zu rekonstruieren. Beim Codieren und Komprimieren eines Videostücks werden wohldefinierte Parameter verwendet (von Menschen, versteht sich), die die endgültige Qualität, den Ton, das Format und andere Elemente beeinflussen. Brads Arbeit zielt darauf ab, dieses menschliche Element zu eliminieren und das neuronale Netz die Codierung selbst durchführen zu lassen, aber vorher musste er etwas noch Komplizierteres tun: Das neuronale Netz trainieren, um einen Film zu sehen, seine Einzelbilder und deren Ähnlichkeiten zu erkennen, die „falschen“ Daten zu verwerfen, die nicht Teil des Films waren, jedes Einzelbild in 200-Bit-Darstellungen umzuwandeln, sie aus diesen Darstellungen zu rekonstruieren und sie natürlich in die richtige Reihenfolge zu bringen.
Wie der Titel andeutet, war der Hauptfilm, den Broad auswählte, Blade Runner, und er verarbeitete auch eine weitere Adaption des Werks von Philip K. Dick, A Scanner Darkly. Natürlich täuscht das Endergebnis keinen Menschen, und die Qualität der „Rekonstruktion“ durch das neuronale Netz liegt unter dem Originalfilm ... aber es hat sich nicht in der Reihenfolge der Einzelbilder geirrt, noch in anderen Details wie Geschwindigkeit und Rhythmus. Mit jeder Sitzung (er verarbeitete beide Filme insgesamt sechsmal) lieferte das neuronale Netz etwas „sauberere“ Einzelbilder, und obwohl das für unsere Augen und unser Gehirn nicht ausreicht ... reichte es für den Bot von Warner, der versuchte, die Videos auf YouTube zu blockieren.
