Heutzutage ist es für viele kein Problem mehr, ein störendes Element aus einem Foto zu entfernen. Grundkenntnisse in Photoshop oder den heute modischen neuronalen Netzen können das Problem lösen. Bei Videos wird die Situation jedoch komplizierter, da Sie mindestens 24 Bilder pro Sekunde des Videos verarbeiten müssen.
Und hier ist es auf Github ein Dienstprogramm, das diese Aktionen automatisiert und es Ihnen ermöglicht, alle sich bewegenden Objekte aus dem Video zu entfernen. Sie müssen lediglich mit dem Cursor ein zusätzliches Objekt mit Rahmen auswählen, den Rest erledigt das System. Das Dienstprogramm hat einen einfachen Namen: Videoobjektentfernung. Es basiert jedoch auf fortschrittlichen Technologien.
Das System verwendet ein neuronales Netzwerk, das das Video Bild für Bild verarbeitet und ein unnötiges Objekt oder eine unnötige Person durch den Hintergrund ersetzt. Das Programm kann bis zu 55 Bilder pro Sekunde ändern und den Hintergrund basierend auf dem Umgebungsbild aufbauen. Obwohl bei näherer Betrachtung klar wird, dass die Methode zur Objektentfernung alles andere als perfekt ist, sind die Ergebnisse beeindruckend.
Auf einigen Bildern ist zu sehen, dass an der Stelle der „entfernten“ Person eine transparente oder durchscheinende Phantomspur verbleibt. Tatsache ist, dass das System nur den verfügbaren Hintergrund analysiert und diesen nicht immer angemessen zeichnen kann. Es kommt auf die Komplexität des Hintergrunds an – je einfacher und einheitlicher er ist, desto besser ist das Endergebnis.
Zum Testen wurde das verwendete Betriebssystem Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0 verwendet und die Verarbeitung wurde auf einer NVIDIA GeForce GTX 1080 Ti-Grafikkarte durchgeführt. Die Quellen selbst sind offen und können von jedem genutzt werden. Wir weisen jedoch darauf hin, dass diese Technologie auch für böswillige Zwecke genutzt werden kann. Beispielsweise, um vor der Kamera festgehaltene Verkehrsverstöße oder andere Straftaten zu „verbergen“.
Source: 3dnews.ru