Dziś usunięcie niechcianego elementu z fotografii nie stanowi już problemu dla wielu osób. Podstawowe umiejętności obsługi Photoshopa lub popularne obecnie sieci neuronowe mogą rozwiązać ten problem. Jednak w przypadku wideo sytuacja jest bardziej skomplikowana, ponieważ trzeba przetworzyć co najmniej 24 klatki na sekundę wideo.
A oto na Githubie narzędzie, które automatyzuje te działania, pozwalając na usuwanie wszelkich poruszających się obiektów z wideo. Wystarczy zaznaczyć niechciany obiekt za pomocą kursora, a system zrobi resztę. Narzędzie nazywa się dość prosto — video-object-removal. W jego podstawie leżą zaawansowane technologie.
System wykorzystuje sieć neuronową, która przetwarza wideo klatka po klatce, zastępując niechciany obiekt lub osobę tłem. Program może zmieniać do 55 klatek na sekundę, tworząc tło na podstawie otaczającego obrazu. Choć przy bliższym przyjrzeniu się widać, że metoda usuwania obiektów nie jest doskonała, wyniki są imponujące.
Na niektórych klatkach widać, że w miejscu „usuniętej” osoby pozostaje przezroczysty lub półprzezroczysty fantomowy ślad. Problem polega na tym, że system analizuje jedynie dostępne tło i obecnie nie zawsze adekwatnie może je odrysować. To zależy od złożoności tła — im jest ono prostsze i jednolite, tym lepszy jest końcowy rezultat.
Do testów użyto systemu Ubuntu 16.04, Pythona 3.5, Pytorch 0.4.0, CUDA 8.0, a przetwarzanie odbywało się na karcie graficznej NVIDIA GeForce GTX 1080 Ti. Same źródła są otwarte i mogą być używane przez wszystkich. Warto jednak zaznaczyć, że taka technologia może być również wykorzystywana w niecnych celach. Na przykład, aby „ukryć” naruszenia przepisów drogowych lub inne przestępstwa uchwycone przez kamery.
Źródło: 3dnews.ru
