Tegenwoordig is het voor velen geen probleem meer om een storend element van een foto te verwijderen. Basisvaardigheden in Photoshop of de trendy neurale netwerken van vandaag kunnen het probleem oplossen. Maar in het geval van video is de situatie ingewikkelder, aangezien er minstens 24 frames per seconde moeten worden verwerkt.
En hier op Github is er een tool die deze acties automatiseert, waarmee je alle bewegende objecten uit video kunt verwijderen. Het is eenvoudig: markeer het ongewenste object met de cursor, en het systeem doet de rest. De tool heet eenvoudigweg ā video-object-removal. Maar er liggen geavanceerde technologieĆ«n ten grondslag.
Het systeem maakt gebruik van een neurale netwerk die de video frame voor frame verwerkt, waarbij ongewenste objecten of mensen door de achtergrond worden vervangen. Het programma kan tot 55 frames per seconde wijzigen, waarbij het de achtergrond op basis van de omringende afbeelding aanvult. Hoewel bij nader inzien duidelijk wordt dat de methode voor het verwijderen van objecten verre van perfect is, zijn de resultaten indrukwekkend.
In sommige frames is te zien dat er een transparante of halftransparante spookachtige afdruk achterblijft op de plaats van de 'verwijderde' persoon. Het probleem is dat het systeem alleen de beschikbare achtergrond analyseert en nog niet altijd adequaat kan aanvullen. Dit hangt af van de complexiteit van de achtergrond ā hoe eenvoudiger en homogener deze is, des te beter het eindresultaat.
Voor de test werd Ubuntu 16.04, Python 3.5, Pytorch 0.4.0 en CUDA 8.0 gebruikt, terwijl de verwerking plaatsvond op een NVIDIA GeForce GTX 1080 Ti grafische kaart. De oorspronkelijke bronnen zijn open en kunnen door iedereen worden gebruikt. Daarbij moet worden opgemerkt dat deze technologie ook voor kwaadaardige doeleinden kan worden gebruikt. Bijvoorbeeld om verkeersregels te 'verbergen' of andere misdaden die door camera's zijn vastgelegd.
Bron: 3dnews.ru
