Negli ultimi mesi abbiamo visto le reti neurali creare dipinti, modificare video e persino rispondere a domande molto interessanti, ma tutto ciò è parte dell'addestramento che ricevono. In ogni caso, c'è un essere umano che sceglie il materiale e lo «alimenta» alla rete per vedere cosa ne fa. Il ricercatore Terence Broad ha deciso di realizzare qualcosa di molto speciale: addestrare una rete neurale con l'obiettivo di decodificare e ricostruire video. E la «fonte» del suo lavoro è stata nientemeno che Blade Runner.
Tutto è iniziato con una manciata di immagini e la libertà per una rete neurale facesse con loro ciò che voleva. Poi sono stati pubblicati i risultati di un chatbot, e le sue risposte ci hanno fatto pensare per giorni interi. A quel punto, Google non ha avuto altra scelta che liberare il «codice artistico» della sua rete neurale DeepDream, così che gli utenti potessero sperimentarci, e pochi giorni dopo qualcuno ha ripetuto il processo originale con il cortometraggio di un film, generando uno dei «viaggi acidi digitali» più impressionanti In fondo, tutti sappiamo che le reti neurali sono il prodotto del loro addestramento. Non c'è ancora una «coscienza» o un «senso del sé», per così dire. Tuttavia, ciò non modifica la possibilità che una rete neurale possa imparare cose nuove. In questo caso particolare, ricostruire video.
Il progetto di Terence Broad
Il ricercatore Terence Broad ha scelto per la sua dissertazione il titolo «Autocodifica dei fotogrammi video», che da solo non ci dice molto, ma in termini più ampi si tratta di implementare apprendimento profondo e reti neurali nel video, con l'obiettivo di ricostruirlo. Codificando e comprimendo un pezzo di video si utilizzano parametri ben definiti (da esseri umani, ovviamente), che influenzano la qualità finale, il suono, il formato e altri elementi. Il lavoro di Broad cerca di eliminare quell'elemento umano e lasciare che la rete neurale esegua la codifica da sola, ma prima ha dovuto fare qualcosa di ancora più complicato: addestrare la rete neurale a guardare un film, riconoscere i suoi fotogrammi e le loro somiglianze, rifiutare i dati «falsi» che non facevano parte del film, trasformare ogni fotogramma in rappresentazioni da 200 bit, ricostruirli da quelle rappresentazioni e, ovviamente, metterli nell'ordine corretto.
I risultati
Come indica il titolo, il film principale scelto da Broad è stato Blade Runner, e ha anche processato un altro adattamento dell'opera di Philip K. Dick, A Scanner Darkly. Logicamente, il risultato finale non inganna nessun essere umano, e la qualità della «ricostruzione» fatta dalla rete neurale è inferiore al film originale... ma non ha sbagliato l'ordine dei fotogrammi, né altri dettagli come velocità e ritmo. Con ogni sessione (ha processato entrambi i film per un totale di sei volte) la rete neurale ha fornito fotogrammi un po' più «puliti», e anche se non basta per i nostri occhi e cervelli... sì è bastato per il bot della Warner, che ha cercato di bloccare i video su YouTube.
