De afgelopen maanden hebben we neurale netwerken schilderijen zien maken, video's zien bewerken en zelfs interessante vragen zien beantwoorden, maar dat alles is deel van de training die ze krijgen. In elk geval is er een mens die het materiaal kiest en het aan het netwerk "voert" om te zien wat het ermee doet. Onderzoeker Terence Broad besloot iets heel bijzonders te doen: een neuraal netwerk trainen met als doel video te decoderen en te reconstrueren. En de "bron" van zijn werk was niets minder dan Blade Runner.
Het begon allemaal met een handvol afbeeldingen en de vrijheid voor een neuraal netwerk om ermee te doen wat het wilde. Daarna werden de resultaten van een chatbot gepubliceerd, en de antwoorden lieten ons dagenlang nadenken. Op dat punt had Google geen andere keuze dan het "artistieke code" van zijn DeepDream-netwerk vrij te geven, zodat gebruikers ermee konden experimenteren, en een paar dagen later herhaalde iemand het oorspronkelijke proces met een korte film, wat een van de meest indrukwekkende "zure digitale trips" opleverde die we hebben gezien. In de kern weten we allemaal dat neurale netwerken het product zijn van hun training. Er is nog geen "bewustzijn" of een "gevoel van zelf", om het zo te zeggen. Dat verandert echter niets aan de mogelijkheid dat een neuraal netwerk nieuwe dingen kan leren. In dit specifieke geval: video reconstrueren.
Een bijzondere dissertatie
Onderzoeker Terence Broad koos voor zijn dissertatie de titel "Zelfcodering van videoframes", die op zichzelf niet veel zegt, maar in bredere termen gaat het over het implementeren van deep learning en neurale netwerken in video, met als doel het te reconstrueren. Bij het coderen en comprimeren van een videostuk worden goed gedefinieerde parameters gebruikt (door mensen, uiteraard), die van invloed zijn op de uiteindelijke kwaliteit, het geluid, het formaat en andere elementen. Broad's werk probeert dat menselijke element te elimineren en het neuraal netwerk zelf de codering te laten uitvoeren, maar daarvoor moest hij eerst iets nog ingewikkelders doen: het neuraal netwerk trainen om een film te bekijken, de frames en overeenkomsten te herkennen, de "valse" gegevens die geen deel uitmaakten van de film te verwerpen, elk frame om te zetten in representaties van 200 bits, ze op basis van die representaties te reconstrueren en uiteraard in de juiste volgorde te plaatsen.
Het resultaat
Zoals de titel al aangeeft, was de belangrijkste film die Broad koos Blade Runner, en hij verwerkte ook een andere bewerking van het werk van Philip K. Dick, A Scanner Darkly. Uiteraard misleidt het eindresultaat geen enkel mens, en de kwaliteit van de "reconstructie" door het neuraal netwerk ligt onder de originele film... maar het vergiste zich niet in de volgorde van de frames, noch in andere details zoals snelheid en ritme. Met elke sessie (hij verwerkte beide films in totaal zes keer) leverde het neuraal netwerk iets "schonere" frames op, en hoewel dat niet genoeg is voor onze ogen en hersenen... was het wel genoeg voor Warner's bot, die de video's op YouTube probeerde te blokkeren.
