В днешно време за много хора вече не е проблем премахването на нежелан елемент от снимка. Основните умения за работа с Photoshop или популярните в момента невронни мрежи могат да решат проблема. Въпреки това, в случая с видеото ситуацията е усложнена, тъй като е необходимо да се обработят поне 24 кадъра на секунда от видеото.
И ето в Github инструмент, който автоматизира тези действия, позволявайки премахването на всякакви движещи се обекти от видеото. Достатъчно е просто да изберете ненужния обект с рамка с помощта на мишката и системата ще свърши всичко останало. Инструментът е наречен просто - video-object-removal. Въпреки това, в основата му лежат напреднали технологии.
Системата използва невронна мрежа, която обработва видеото кадър по кадър, замествайки ненужния обект или човек с фона. Програмата може да обработва до 55 кадъра в секунда, възстановявайки фона на базата на околното изображение. Въпреки че при по-внимателен поглед е ясно, че методът за премахване на обекти далеч не е перфектен, резултатите са впечатляващи.
В някои кадри е видно, че на мястото на "премахнатия" човек остава прозрачен или полупрозрачен фантомен след. Фактът е, че системата анализира единствено наличния фон и засега не винаги адекватно успява да го допълва. Това зависи от сложността на фона - колкото по-прост и еднообразен е той, толкова по-добър е крайният резултат.
За тестовете беше използвана ОС Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0, а обработката протичаше на видеокартата NVIDIA GeForce GTX 1080 Ti. Самите изходни кодове са открити и могат да се използват от всички. Важно е да отбележим, че такава технология може да бъде използвана и за злонамерени цели. Например, за да "скрие" нарушения на пътните правила или други престъпления, засечени от камерите.
Източник: 3dnews.ru
