W ostatnich miesiącach widzieliśmy, jak sieci neuronowe tworzą obrazy, modyfikują filmy, a nawet odpowiadają na bardzo interesujące pytania, ale wszystko to jest częścią treningu, jaki otrzymują. W każdym przypadku to człowiek wybiera materiał i „karmi” nim sieć, aby zobaczyć, co z nim zrobi. Badacz Terence Broad postanowił zrobić coś bardzo wyjątkowego: nauczyć sieć neuronową, aby dekodowała i odtwarzała wideo. A „źródłem” jego pracy był nic innego jak Blade Runner.
Wszystko zaczęło się od garści obrazów i swobody, aby sieć neuronowa zrobiła z nimi, co chciała. Później opublikowano wyniki chatbota, a jego odpowiedzi zaprzątały nam głowy przez całe dni. W pewnym momencie Google nie miał innego wyjścia, jak uwolnić „artystyczny kod” swojej sieci neuronowej DeepDream, aby użytkownicy mogli z nim eksperymentować, a kilka dni później ktoś powtórzył oryginalny proces z fragmentem filmu, tworząc jedną z najbardziej imponujących „kwaśnych cyfrowych podróży”, jakie widzieliśmy. W gruncie rzeczy wszyscy wiemy, że sieci neuronowe są produktem swojego treningu. Wciąż nie ma „świadomości” ani „poczucia ja” – że tak powiem. Nie zmienia to jednak możliwości, że sieć neuronowa może nauczyć się nowych rzeczy. W tym konkretnym przypadku – odtwarzania wideo.
Projekt Terence’a Broada
Badacz Terence Broad wybrał dla swojej rozprawy tytuł „Autokodowanie klatek wideo”, który sam w sobie niewiele nam mówi, ale w szerszym ujęciu chodzi o wdrożenie głębokiego uczenia i sieci neuronowych w wideo, z celem jego odtworzenia. Podczas kodowania i kompresji fragmentu wideo wykorzystuje się dobrze zdefiniowane parametry (ustalone przez ludzi, rzecz jasna), które wpływają na jakość końcową, dźwięk, format i inne elementy. Praca Broada ma na celu wyeliminowanie tego ludzkiego elementu i pozwolenie sieci neuronowej na samodzielne kodowanie, ale najpierw musiał zrobić coś jeszcze bardziej skomplikowanego: nauczyć sieć neuronową oglądania filmu, rozpoznawania klatek i ich podobieństw, odrzucania „fałszywych” danych, które nie były częścią filmu, przekształcania każdej klatki w reprezentacje 200-bitowe, odtwarzania ich na podstawie tych reprezentacji i oczywiście umieszczania ich w odpowiedniej kolejności.
Jak wskazuje tytuł, głównym filmem wybranym przez Broada był Blade Runner, a także przetworzył inną adaptację twórczości Philipa K. Dicka, A Scanner Darkly. Oczywiście końcowy wynik nie oszuka żadnego człowieka, a jakość „rekonstrukcji” wykonanej przez sieć neuronową jest niższa niż oryginalnego filmu… ale nie pomyliła się co do kolejności klatek ani innych szczegółów, takich jak prędkość i tempo. Z każdą sesją (przetworzył oba filmy łącznie sześć razy) sieć neuronowa dostarczała nieco „czystsze” klatki, a choć to nie wystarczy dla naszych oczu i mózgów… to wystarczyło dla bota Warnera, który próbował zablokować filmy na YouTube.
