En grupp forskare frÄn det tekniska universitetet i Shanghai verktyg , som anvÀnder maskininlÀrningsmetoder för att simulera mÀnniskors rörelser pÄ stillbilder samt byta klÀder, flytta till en annan miljö och Àndra vinkel för hur objektet ses. Koden Àr skriven i Python
med hjÀlp av ramverket . För byggande krÀvs Àven och CUDA Toolkit.
Verktyget tar emot en tvÄdimensionell bild och syntetiserar ett modifierat resultat baserat pÄ den valda modellen. Tre typer av transformationer stöds:
Skapande av ett rörligt objekt som Ă„terspeglar de rörelser som modellen har trĂ€nats pĂ„. Ăverföring av utseendelement frĂ„n modellen till objektet (till exempel byte av klĂ€der). Generering av en ny vinkel (till exempel syntetisering av en profilbild baserat pĂ„ en framifrĂ„n-fotografi). Alla tre metoder kan kombineras; till exempel kan man generera en video frĂ„n ett foto som imiterar en komplex akrobatisk trick i andra klĂ€der.
Under syntesprocessen utförs Àven operationer för att isolera objektet pÄ fotot och skapa saknade bakgrundselement vid förflyttning. Modellen för det neurala nÀtverket kan trÀnas en gÄng och anvÀndas för olika transformationer. För att ladda ner fÀrdiga modeller som tillÄter att verktyget anvÀnds direkt utan förhandsutbildning. För arbete krÀvs en GPU med en minnesstorlek pÄ minst 8GB.
Till skillnad frÄn transformationsmetoder baserade pÄ nyckelpunkter som beskriver kroppens placering i tvÄdimensionellt utrymme, gör Impersonator ett försök att syntetisera ett tredimensionellt nÀt (mesh) med en beskrivning av kroppen, med hjÀlp av maskininlÀrningsmetoder.
Den föreslagna metoden möjliggör manipulationer med hÀnsyn till den personliga kroppstypen och den aktuella posen, vilket modellerar naturliga rörelser av lemmarna.
För att bevara ursprungsinformation, sÄsom texturer, stil, fÀrger och igenkÀnning av ansiktet, tillÀmpas (). Information om det ursprungliga objektet och parametrar för dess noggranna identifiering extraheras genom att tillÀmpa .
KĂ€lla: opennet.ru
