Für viele ist es heutzutage kein Problem mehr, störende Elemente aus Fotos zu entfernen. Grundkenntnisse in Photoshop oder moderne neuronale Netze können dieses Problem lösen. Allerdings wird die Situation bei Videos komplizierter, da man mindestens 24 Bilder pro Sekunde verarbeiten muss.
Und hier auf Github ist ein Tool, das diese Vorgänge automatisiert und es ermöglicht, beliebige bewegte Objekte aus Videos zu entfernen. Man muss nur das überflüssige Objekt mit dem Cursor markieren, und das System erledigt den Rest. Das Tool heißt schlicht – video-object-removal. Dahinter stecken jedoch fortschrittliche Technologien.
Das System verwendet ein neuronales Netz, das die Videos Bild für Bild verarbeitet und unerwünschte Objekte oder Personen durch den Hintergrund ersetzt. Die Software kann bis zu 55 Bilder pro Sekunde ändern und den Hintergrund basierend auf der Umgebung rekonstruieren. Auch wenn bei näherer Betrachtung klar wird, dass die Methode zur Objektentfernung nicht perfekt ist, sind die Ergebnisse beeindruckend.
In einigen Aufnahmen ist zu sehen, dass am Ort der "entfernten" Person ein transparenter oder halbtransparenter phantomhafter Abdruck bleibt. Das liegt daran, dass das System nur den verfügbaren Hintergrund analysiert und bislang nicht immer in der Lage ist, diesen angemessen nachzubearbeiten. Dies hängt von der Komplexität des Hintergrunds ab – je einfacher und homogener er ist, desto besser das endgültige Ergebnis.
Für die Tests wurde das Betriebssystem Ubuntu 16.04, Python 3.5, Pytorch 0.4.0 und CUDA 8.0 verwendet, wobei die Verarbeitung auf der Grafikkarte NVIDIA GeForce GTX 1080 Ti stattfand. Die ursprünglichen Quellen sind offen und können von jedem genutzt werden. Dabei ist anzumerken, dass solche Technologien auch für böswillige Zwecke eingesetzt werden können. Beispielsweise, um Verkehrsverstöße oder andere Verbrechen, die von Kameras erfasst wurden, zu "verbergen".
Quelle: 3dnews.ru
