I dag er det for mange ikke længere et problem at fjerne et forstyrrende element fra et fotografi. Grundlæggende færdigheder i Photoshop eller nutidens fashionable neurale netværk kan løse problemet. Men i tilfælde af video bliver situationen mere kompliceret, fordi du skal behandle mindst 24 billeder pr. sekund af video.
Og her er den på Github et værktøj, der automatiserer disse handlinger, så du kan fjerne eventuelle bevægelige objekter fra videoen. Du skal blot vælge et ekstra objekt med en ramme ved hjælp af markøren, og systemet klarer resten. Værktøjet har et simpelt navn - video-objekt-fjernelse. Det er dog baseret på avancerede teknologier.
Systemet bruger et neuralt netværk, der behandler videoen ramme for ramme, og erstatter en unødvendig genstand eller person med baggrunden. Programmet kan ændre op til 55 billeder i sekundet, og opbygge baggrunden baseret på det omgivende billede. Selvom det ved nærmere eftersyn bliver klart, at metoden til fjernelse af objekter langt fra er perfekt, er resultaterne imponerende.
Nogle rammer viser, at et gennemsigtigt eller gennemsigtigt fantomspor forbliver i stedet for den "fjernede" person. Faktum er, at systemet kun analyserer den tilgængelige baggrund og ikke altid er i stand til at tegne den tilstrækkeligt. Det afhænger af kompleksiteten af baggrunden - jo enklere og mere ensartet den er, jo bedre bliver det endelige resultat.
Til test var det anvendte operativsystem Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0, og behandlingen blev udført på et NVIDIA GeForce GTX 1080 Ti videokort. Kilderne i sig selv er åbne og kan bruges af alle. Vi bemærker dog, at sådan teknologi også kan bruges til ondsindede formål. For eksempel for at "skjule" trafikovertrædelser eller andre forbrydelser fanget på kamera.
Kilde: 3dnews.ru