De code voor het synthetiseren van animaties met behulp van neurale netwerken is geopend

Een groep onderzoekers van de Shanghai-technische universiteit heeft gepubliceerd hulpmiddelen Impersonator, die met behulp van machine learning-methoden de bewegingen van mensen in statische beelden kan simuleren, evenals kleding kan vervangen, naar een andere omgeving kan verplaatsen en de kijkhoek kan veranderen. De code is geschreven in Python
met het gebruik van het framework PyTorch. Voor de opbouw is ook vereist torchvision en CUDA Toolkit.

De tool ontvangt een tweedimensionaal beeld en genereert een gewijzigd resultaat op basis van het gekozen model. Drie varianten van transformaties worden ondersteund:
Het creëren van een bewegend object dat de bewegingen herhaalt waarop het model is getraind. Het overdragen van uiterlijke elementen van het model naar het object (bijvoorbeeld het veranderen van kleding). Het genereren van een nieuw perspectief (bijvoorbeeld het synthetiseren van een profielbeeld op basis van een afbeelding van voren). Alledrie de methoden kunnen worden gecombineerd, bijvoorbeeld kan men een video genereren op basis van een foto, die de uitvoering van een complexe acrobatische truc in andere kleding nabootst.

Tijdens het synthetiseren worden ook operaties uitgevoerd voor het isoleren van het object op de foto en het vormen van ontbrekende achtergrondelementen bij verplaatsing. Het model voor het neuraal netwerk kan één keer worden getraind en voor verschillende transformaties worden gebruikt. Voor het downloaden beschikbaar kant-en-klare modellen die het mogelijk maken om de tool direct te gebruiken zonder voorafgaande training. Voor het werk is een GPU met minimaal 8GB geheugen vereist.

In tegenstelling tot transformatietechnieken die zijn gebaseerd op transformaties via sleutelpunten die de positie van het lichaam in de tweedimensionale ruimte beschrijven, is in Impersonator geprobeerd een driedimensionaal mesh te synthetiseren met een lichaamsbeschrijving, gebruikmakend van machine learning-methoden.
De voorgestelde methode stelt in staat om manipulaties uit te voeren rekening houdend met de gepersonaliseerde lichaamsvorm en de huidige pose, waarbij natuurlijke bewegingen van de ledematen worden gemodelleerd.

Om de oorspronkelijke informatie, zoals texturen, stijl, kleuren en gezichtsherkenning, te behouden, wordt tijdens de transformatie toegepast een generatieve tegenstrijdige neuraal netwerk (Liquid Warping GAN). Informatie over het oorspronkelijke object en parameters voor de exacte identificatie ervan worden geëxtraheerd door het toepassen van een convolutioneel neuraal netwerk.

Bron: opennet.ru