Ma már sokak számára nem jelent problémát egy zavaró elem eltávolítása a fényképről. A Photoshop vagy a manapság divatos neurális hálózatok alapismeretei megoldhatják a problémát. Videó esetén azonban bonyolultabb a helyzet, mert legalább 24 képkockát kell feldolgozni másodpercenként.
És itt van a Githubon egy segédprogram, amely automatizálja ezeket a műveleteket, és lehetővé teszi a mozgó objektumok eltávolítását a videóból. Csak ki kell választania egy extra objektumot kerettel a kurzor segítségével, és a rendszer elvégzi a többit. A segédprogramnak egyszerű neve van - video-object-removal. Ez azonban fejlett technológiákon alapul.
A rendszer egy neurális hálózatot használ, amely kockánként dolgozza fel a videót, a háttérrel helyettesítve a szükségtelen tárgyat vagy személyt. A program másodpercenként akár 55 képkockát is tud változtatni, a hátteret a környező kép alapján építi fel. Bár közelebbről megvizsgálva világossá válik, hogy a tárgyeltávolítási módszer messze nem tökéletes, az eredmények lenyűgözőek.
Egyes keretek azt mutatják, hogy az „eltávolított” személy helyén átlátszó vagy áttetsző fantomnyom marad. Az tény, hogy a rendszer csak a rendelkezésre álló hátteret elemzi, és nem mindig tudja megfelelően lerajzolni. Ez a háttér összetettségétől függ - minél egyszerűbb és egységesebb, annál jobb a végeredmény.
A teszteléshez Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0 operációs rendszert használtunk, a feldolgozást pedig NVIDIA GeForce GTX 1080 Ti videokártyán végeztük. Maguk a források nyíltak és mindenki által használhatóak. Megjegyezzük azonban, hogy az ilyen technológia rosszindulatú célokra is felhasználható. Például, hogy „elrejtse” a közlekedési szabálysértéseket vagy más, a kamera által rögzített bűncselekményeket.
Forrás: 3dnews.ru