Een groep onderzoekers van de Technische Universiteit van Shanghai hulpmiddelen , waarmee machine learning-methoden kunnen worden gebruikt om de bewegingen van mensen te simuleren met behulp van statische beelden, maar ook om kleding te vervangen, over te brengen naar een andere omgeving en de hoek te veranderen van waaruit een object zichtbaar is. De code is geschreven in Python
gebruik van een raamwerk . Montage vereist ook en CUDA-toolkit.
De toolkit ontvangt een tweedimensionaal beeld als invoer en synthetiseert een aangepast resultaat op basis van het geselecteerde model. Er worden drie transformatieopties ondersteund:
Het creΓ«ren van een bewegend object dat de bewegingen volgt waarop het model is getraind. Het overbrengen van uiterlijke elementen van een model naar een object (bijvoorbeeld een verandering van kleding). Genereren van een nieuwe invalshoek (bijvoorbeeld synthese van een profielafbeelding op basis van een foto van het hele gezicht). Alle drie de methoden kunnen worden gecombineerd. U kunt bijvoorbeeld een video genereren van een foto die de uitvoering van een complexe acrobatische truc in verschillende kleding simuleert.
Tijdens het syntheseproces worden de handelingen van het selecteren van een object op een foto en het vormen van de ontbrekende achtergrondelementen tijdens het bewegen gelijktijdig uitgevoerd. Het neurale netwerkmodel kan één keer worden getraind en voor verschillende transformaties worden gebruikt. Voor laden kant-en-klare modellen waarmee u de tools onmiddellijk kunt gebruiken zonder voorafgaande training. Voor de werking is een GPU met een geheugengrootte van minimaal 8 GB vereist.
In tegenstelling tot transformatiemethoden die gebaseerd zijn op transformatie door middel van sleutelpunten die de locatie van het lichaam in een tweedimensionale ruimte beschrijven, probeert Impersonator een driedimensionaal netwerk te synthetiseren met een beschrijving van het lichaam met behulp van machinale leermethoden.
De voorgestelde methode maakt manipulaties mogelijk, waarbij rekening wordt gehouden met de persoonlijke lichaamsvorm en de huidige houding, waarbij de natuurlijke bewegingen van de ledematen worden gesimuleerd.
Om originele informatie zoals texturen, stijl, kleuren en gezichtsherkenning tijdens het transformatieproces te behouden, (). Informatie over het bronobject en parameters voor de nauwkeurige identificatie ervan worden geΓ«xtraheerd door toepassing .
Bron: opennet.ru