Oggi per molti rimuovere un elemento di disturbo da una fotografia non è più un problema. Le competenze di base in Photoshop o nelle reti neurali alla moda di oggi possono risolvere il problema. Nel caso del video, però, la situazione diventa più complicata, perché è necessario elaborare almeno 24 fotogrammi al secondo di video.
Ed eccolo su Github un'utilità che automatizza queste azioni, permettendoti di rimuovere qualsiasi oggetto in movimento dal video. Devi solo selezionare un oggetto extra con una cornice utilizzando il cursore e il sistema farà il resto. L'utilità ha un nome semplice: rimozione-oggetto-video. Tuttavia, si basa su tecnologie avanzate.
Il sistema utilizza una rete neurale che elabora il video fotogramma per fotogramma, sostituendo un oggetto o una persona non necessaria con lo sfondo. Il programma può modificare fino a 55 fotogrammi al secondo, costruendo lo sfondo in base all'immagine circostante. Sebbene dopo un esame più attento risulti chiaro che il metodo di rimozione dell'oggetto è lungi dall'essere perfetto, i risultati sono impressionanti.
Alcuni fotogrammi mostrano che al posto della persona “rimossa” rimane una traccia fantasma trasparente o traslucida. Il fatto è che il sistema analizza solo lo sfondo disponibile e non sempre è in grado di disegnarlo adeguatamente. Dipende dalla complessità dello sfondo: più è semplice e uniforme, migliore sarà il risultato finale.
Per i test, il sistema operativo utilizzato è stato Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0 e l'elaborazione è stata eseguita su una scheda video NVIDIA GeForce GTX 1080 Ti. Le fonti stesse sono aperte e possono essere utilizzate da tutti. Tuttavia, notiamo che tale tecnologia può essere utilizzata anche per scopi dannosi. Ad esempio, per “nascondere” violazioni del codice della strada o altri crimini ripresi dalle telecamere.
Fonte: 3dnews.ru