今日、多くの人にとって、写真から干渉要素を取り除くことはもはや問題ではありません。 Photoshop または今日の流行のニューラル ネットワークの基本的なスキルがあれば、問題を解決できます。 ただし、ビデオの場合は、少なくとも 24 秒あたり XNUMX フレームのビデオを処理する必要があるため、状況はさらに複雑になります。
そしてこれがGithubにあります これらのアクションを自動化するユーティリティを使用すると、ビデオから動くオブジェクトを削除できます。 カーソルを使用してフレーム付きの追加オブジェクトを選択するだけで、残りの作業はシステムが行います。 このユーティリティには、video-object-removal という単純な名前が付けられています。 ただし、それは高度なテクノロジーに基づいています。
このシステムは、ビデオをフレームごとに処理するニューラル ネットワークを使用して、不要な物体や人物を背景に置き換えます。 このプログラムは、周囲の画像に基づいて背景を構築しながら、55 秒あたり最大 XNUMX フレームを変更できます。 詳しく調べてみると、物体の除去方法は完璧には程遠いことが明らかになりますが、結果は印象的です。
一部のフレームでは、「削除された」人物の代わりに透明または半透明のファントムの痕跡が残っていることが示されています。 実際のところ、システムは利用可能な背景のみを分析し、常に適切に描画できるわけではありません。 それは背景の複雑さによって異なります。背景がシンプルで均一であればあるほど、最終的な結果はより良くなります。
テストに使用した OS は Ubuntu 16.04、Python 3.5、Pytorch 0.4.0、CUDA 8.0 で、処理は NVIDIA GeForce GTX 1080 Ti ビデオ カードで実行されました。 ソース自体はオープンであり、誰でも使用できます。 ただし、このようなテクノロジーは悪意のある目的にも使用される可能性があることに注意してください。 たとえば、カメラに映った交通違反やその他の犯罪を「隠す」ためです。
出所： 3dnews.ru