Aujourd’hui, pour beaucoup, supprimer un élément parasite d’une photographie n’est plus un problème. Des compétences de base dans Photoshop ou dans les réseaux de neurones à la mode d'aujourd'hui peuvent résoudre le problème. Cependant, dans le cas de la vidéo, la situation devient plus compliquée, car vous devez traiter au moins 24 images par seconde de vidéo.
Et le voici sur Github un utilitaire qui automatise ces actions, vous permettant de supprimer tout objet en mouvement de la vidéo. Il vous suffit de sélectionner un objet supplémentaire avec un cadre à l'aide du curseur, et le système fera le reste. L'utilitaire a un nom simple : video-object-removation. Cependant, il repose sur des technologies avancées.
Le système utilise un réseau neuronal qui traite la vidéo image par image, remplaçant un objet ou une personne inutile par l'arrière-plan. Le programme peut modifier jusqu'à 55 images par seconde, créant ainsi l'arrière-plan en fonction de l'image environnante. Bien qu’en y regardant de plus près, il s’avère évident que la méthode de suppression d’objets est loin d’être parfaite, les résultats sont impressionnants.
Certaines images montrent qu'une trace fantôme transparente ou translucide subsiste à la place de la personne « supprimée ». Le fait est que le système analyse uniquement l'arrière-plan disponible et n'est pas toujours en mesure de le dessiner de manière adéquate. Cela dépend de la complexité de l'arrière-plan : plus il est simple et uniforme, meilleur est le résultat final.
Pour les tests, le système d'exploitation utilisé était Ubuntu 16.04, Python 3.5, Pytorch 0.4.0, CUDA 8.0 et le traitement a été effectué sur une carte vidéo NVIDIA GeForce GTX 1080 Ti. Les sources elles-mêmes sont ouvertes et peuvent être utilisées par tous. Toutefois, nous notons qu’une telle technologie peut également être utilisée à des fins malveillantes. Par exemple, pour « cacher » des infractions au code de la route ou d’autres crimes filmés.
Source: 3dnews.ru