W 1911 roku szwedzka firma Svenska Biografteatern sfilmowała podróż do Nowego Jorku, w wyniku czego powstało ponad osiem minut wideo, które w oryginalnej formie ma raczej słabą rozdzielczość i niską, niestabilną liczbę klatek na sekundę.
Przez lata podejmowano różne próby poprawy rozdzielczości, liczby klatek na sekundę, kolorów i innych szczegółów. Wyniki były różne, ale jednym z najlepszych jak dotąd była praca Denisa Shiryaeva, który niedawno udostępnił ulepszony film na Reddicie i swoim kanale YouTube.
Film z Nowego Jorku 1911 w rozdzielczości 4K/60p
Jak wynika z opisu filmu, a także komentarza pozostawionego przez Shiryaeva na Reddicie, w projekt zaangażowane były cztery sieci neuronowe, w tym DeOldify NN (do koloryzacji). Ogólnie rzecz biorąc, różnym sieciom neuronowym udało się zwiększyć liczbę klatek na sekundę do 60 na sekundę, zwiększyć rozdzielczość do 4K, zwiększyć ostrość, a nawet wykonać automatyczną koloryzację.
Oryginalne wideo przedstawiające Nowy Jork z 1911 roku z podkładem głosowym i dostosowaną szybkością odtwarzania
Wynik jest znacznie lepszy od oryginału, ale sieć neuronowa wyraźnie nie radziła sobie z automatyczną koloryzacją. Nałożone dźwięki pozwalają głębiej zanurzyć się w atmosferę biznesowej stolicy Stanów Zjednoczonych ponad 100 lat temu. My o tym, jak Denis Shiryaev udoskonalił wizualnie słynny film krótkometrażowy braci Lumière „Przyjazd pociągu” z 1896 roku. NA są też inne ciekawe prace, w tym misja księżycowa Apollo 16:
Źródło: 3dnews.ru