Au cours des derniers mois, nous avons vu des réseaux de neurones créer des peintures, modifier des vidéos, et même répondre à des questions très intéressantes, mais tout cela fait partie de l'entraînement qu'ils reçoivent. Dans chaque cas, un être humain choisit le matériau et le « nourrit » au réseau pour voir ce qu'il en fait. Le chercheur Terence Broad a décidé de mener à bien quelque chose de très spécial : entraîner un réseau de neurones dans le but de décoder et reconstruire de la vidéo. Et la « source » de son travail n'était autre que Blade Runner.
De précédentes expériences
Tout a commencé avec une poignée d'images, et la liberté pour qu'un réseau de neurones en fasse ce qu'il voulait. Ensuite, les résultats d'un chatbot ont été publiés, et ses réponses nous ont laissés réfléchir pendant des jours entiers. À ce moment, Google n'a pas eu d'autre choix que de libérer le « code artistique » de son réseau de neurones DeepDream, afin que les utilisateurs puissent expérimenter avec lui, et quelques jours plus tard, quelqu'un a répété le processus original avec un court métrage, générant l'un des « voyages acides numériques » les plus impressionnants que nous ayons vus. Au fond, nous savons tous que les réseaux de neurones sont le produit de leur entraînement. Il n'y a pas encore de « conscience », ni de « sens du moi » pour ainsi dire. Cependant, cela ne modifie pas la possibilité qu'un réseau de neurones puisse apprendre de nouvelles choses. Dans ce cas particulier, reconstruire de la vidéo.
La thèse de Terence Broad
Le chercheur Terence Broad a choisi pour sa thèse le titre «Autocodificando cuadros de vídeo», qui à lui seul ne nous dit pas grand-chose, mais en termes plus larges, il s'agit de mettre en œuvre l'apprentissage profond et les réseaux de neurones dans la vidéo, dans le but de la reconstruire. Lors du codage et de la compression d'une pièce vidéo, des paramètres bien définis (par des humains, bien sûr) sont utilisés, qui affectent la qualité finale, le son, le format et d'autres éléments. Le travail de Broad cherche à éliminer cet élément humain, et à laisser le réseau de neurones effectuer le codage par lui-même, mais avant cela, il a dû faire quelque chose d'encore plus compliqué : entraîner le réseau de neurones à regarder un film, reconnaître ses images et ses similitudes, rejeter les données « fausses » qui ne faisaient pas partie du film, transformer chaque image en représentations de 200 bits, les reconstruire à partir de ces représentations, et évidemment, les placer dans le bon ordre.
Résultats et réactions
Comme l'indique le titre, le film principal choisi par Broad était Blade Runner, et il a également traité une autre adaptation du travail de Philip K. Dick, A Scanner Darkly. Logiquement, le résultat final ne trompe aucun être humain, et la qualité de la « reconstruction » faite par le réseau de neurones est inférieure au film original… mais il ne s'est pas trompé dans l'ordre des images, ni dans d'autres détails comme la vitesse et le rythme. À chaque session (il a traité les deux films six fois au total), le réseau de neurones a fourni des images un peu plus « propres », et bien que cela ne suffise pas à nos yeux et à nos cerveaux... cela a suffi au bot de Warner, qui a tenté de bloquer les vidéos sur YouTube.
