Hoje em dia, para muitos, não é mais um problema remover elementos indesejados de fotos. Habilidades básicas em Photoshop ou as redes neurais populares de hoje podem resolver o problema. Entretanto, no caso de vídeos, a situação é mais complicada, pois é necessário processar pelo menos 24 quadros por segundo de vídeo.
E aqui no Github uma ferramenta que automatiza essas ações, permitindo remover quaisquer objetos em movimento de um vídeo. Basta destacar o objeto indesejado com um contorno usando o cursor, e o sistema fará todo o resto. A ferramenta tem um nome simples — video-object-removal. No entanto, sua base é composta por tecnologias avançadas.
O sistema utiliza uma rede neural que processa o vídeo quadro a quadro, substituindo o objeto ou a pessoa indesejada pelo fundo. O programa pode alterar até 55 quadros por segundo, reconstruindo o fundo com base na imagem circundante. Embora, ao olhar mais de perto, fique claro que o método de remoção de objetos não é perfeito, os resultados são impressionantes.
Em alguns quadros, é visível que no lugar da pessoa "removida" fica um rastro fantasma transparente ou semitransparente. A questão é que o sistema analisa apenas o fundo disponível e, até agora, nem sempre consegue recriá-lo adequadamente. Isso depende da complexidade do fundo — quanto mais simples e homogêneo, melhor será o resultado final.
Para os testes, foi utilizado o sistema operacional Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0, e o processamento foi feito na placa de vídeo NVIDIA GeForce GTX 1080 Ti. Os próprios códigos fontes estão abertos e podem ser utilizados por todos. É importante notar que essa tecnologia também pode ser utilizada para fins mal-intencionados. Por exemplo, para "ocultar" infrações de trânsito ou outros crimes capturados por câmeras.
Fonte: 3dnews.ru
