Öppen kod för animationssyntes med hjälp av neurala nätverk

En grupp forskare från Shanghai Technical University опубликовала verktyg Imitatör, som gör det möjligt att använda maskininlärningsmetoder för att simulera människors rörelser med statiska bilder, samt byta ut kläder, överföra dem till en annan miljö och ändra vinkeln från vilken ett objekt är synligt. Koden är skriven i Python
med hjälp av ett ramverk PyTorch. Montering kräver också fackelvision och CUDA Toolkit.

Verktygslådan tar emot en tvådimensionell bild som indata och syntetiserar ett modifierat resultat baserat på den valda modellen. Tre transformationsalternativ stöds:
Skapa ett rörligt föremål som följer rörelserna som modellen tränades på. Överföra element av utseende från en modell till ett objekt (till exempel ett klädbyte). Generering av en ny vinkel (till exempel syntes av en profilbild baserat på ett helbildsfoto). Alla tre metoderna kan kombineras, till exempel kan du generera en video från ett fotografi som simulerar utförandet av ett komplext akrobatiskt trick i olika kläder.

Under syntesprocessen utförs operationerna med att välja ett objekt i ett fotografi och att bilda de saknade bakgrundselementen vid rörelse samtidigt. Den neurala nätverksmodellen kan tränas en gång och användas för olika transformationer. För lastning tillgängliga färdiga modeller som gör att du omedelbart kan använda verktygen utan förberedande utbildning. En GPU med en minnesstorlek på minst 8 GB krävs för att fungera.

Till skillnad från transformationsmetoder baserade på transformation genom nyckelpunkter som beskriver kroppens placering i tvådimensionellt rum, försöker Impersonator syntetisera ett tredimensionellt nät med en beskrivning av kroppen med hjälp av maskininlärningsmetoder.
Den föreslagna metoden möjliggör manipulationer med hänsyn till den personliga kroppsformen och nuvarande hållningen, som simulerar benens naturliga rörelser.

För att bevara originalinformation som texturer, stil, färger och ansiktsigenkänning under transformationsprocessen, generativa motstridiga neurala nätverk (Flytande Warping GAN). Information om källobjektet och parametrar för dess exakta identifiering extraheras genom att applicera konvolutionerande neurala nätverk.

Källa: opennet.ru