Heutzutage ist es für viele keine Herausforderung mehr, störende Elemente aus Fotos zu entfernen. Grundkenntnisse in Photoshop oder die angesagten neuronalen Netzwerke können das Problem lösen. Bei Videos ist die Situation jedoch komplizierter, da mindestens 24 Bilder pro Sekunde bearbeitet werden müssen.
Und hier auf Github eine Anwendung, die diese Aktionen automatisiert und es ermöglicht, beliebige bewegliche Objekte aus Videos zu entfernen. Es reicht aus, das überflüssige Objekt mit dem Cursor zu umreißen, und das System erledigt den Rest. Die Anwendung heißt unspektakulär – video-object-removal. Doch es basiert auf fortschrittlichen Technologien.
Das System verwendet ein neuronales Netzwerk, das das Video bildweise verarbeitet und das unerwünschte Objekt oder die Person durch den Hintergrund ersetzt. Das Programm kann bis zu 55 Bilder pro Sekunde ändern und rekonstruiert den Hintergrund basierend auf den umgebenden Bildern. Obwohl bei genauerer Betrachtung klar wird, dass die Methode zur Objekterkennung alles andere als perfekt ist, sind die Ergebnisse beeindruckend.
In einigen Bildern ist zu sehen, dass an der Stelle der 'entfernten' Person ein transparenter oder halbtransparenter spukhafter Nachhall bleibt. Der Grund ist, dass das System nur den verfügbaren Hintergrund analysiert und noch nicht immer in der Lage ist, ihn angemessen zu rekonstruiert. Dies hängt von der Komplexität des Hintergrunds ab – je einfacher und homogener, desto besser das Endergebnis.
Für die Tests wurde das Betriebssystem Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0 verwendet, und die Verarbeitung erfolgte auf der NVIDIA GeForce GTX 1080 Ti. Die Quellcodes sind offen und können von allen verwendet werden. Dabei sei erwähnt, dass diese Technologie auch für böswillige Zwecke eingesetzt werden kann. Zum Beispiel, um Verstöße gegen Verkehrsregeln oder andere Verbrechen zu 'verstecken', die von Kameras aufgezeichnet wurden.
Quelle: 3dnews.ru
