Dziś dla wielu usunięcie zakłócającego elementu ze zdjęcia nie stanowi już problemu. Podstawowe umiejętności obsługi Photoshopa lub modnych dziś sieci neuronowych mogą rozwiązać problem. Jednak w przypadku wideo sytuacja się komplikuje, gdyż trzeba przetwarzać co najmniej 24 klatki na sekundę wideo.
A tutaj jest na Githubie narzędzie automatyzujące te działania, umożliwiające usunięcie z wideo wszelkich poruszających się obiektów. Wystarczy, że za pomocą kursora wybierzesz dodatkowy obiekt z ramką, a system zajmie się resztą. Narzędzie ma prostą nazwę - usuwanie obiektów wideo. Opiera się jednak na zaawansowanych technologiach.
System wykorzystuje sieć neuronową, która przetwarza wideo klatka po klatce, zastępując niepotrzebny obiekt lub osobę tłem. Program może zmieniać aż 55 klatek na sekundę, budując tło na podstawie otaczającego obrazu. Chociaż po bliższym przyjrzeniu się staje się jasne, że metoda usuwania obiektów jest daleka od doskonałości, wyniki są imponujące.
Niektóre kadry pokazują, że w miejscu „usuniętej” osoby pozostaje przezroczysty lub półprzezroczysty ślad fantomowy. Faktem jest, że system analizuje jedynie dostępne tło i nie zawsze jest w stanie odpowiednio je narysować. Zależy to od stopnia złożoności tła – im prostsze i bardziej jednolite, tym lepszy efekt końcowy.
Do testów wykorzystano system operacyjny Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0, a przetwarzanie przeprowadzono na karcie graficznej NVIDIA GeForce GTX 1080 Ti. Same źródła są otwarte i każdy może z nich skorzystać. Zauważamy jednak, że taka technologia może być również wykorzystywana do szkodliwych celów. Na przykład, aby „ukryć” wykroczenia drogowe lub inne przestępstwa uchwycone kamerą.
Źródło: 3dnews.ru