Navorsingspan van Sjanghai Tegniese Universiteit gereedskap , wat dit moontlik maak om, met behulp van masjienleermetodes, die beweging van mense in statiese beelde te simuleer, asook om klere te vervang, na 'n ander omgewing oor te dra en die hoek te verander waaruit die voorwerp sigbaar is. Die kode is in Python geskryf
die raamwerk gebruik . Vergadering vereis ook en CUDA Toolkit.
Die gereedskapstel neem 'n XNUMXD-beeld as invoer en sintetiseer 'n gewysigde resultaat gebaseer op die geselekteerde model. Drie transformasie-opsies word ondersteun:
Die skep van 'n bewegende voorwerp wat die bewegings herhaal waarop die model geoefen is. Die oordrag van voorkomselemente van die model na die voorwerp (byvoorbeeld om klere te verander). Generering van 'n nuwe hoek (byvoorbeeld, sintetisering van 'n beeld in profiel gebaseer op 'n frontale foto). Al drie metodes kan gekombineer word, byvoorbeeld, dit is moontlik om 'n video van 'n foto te genereer wat die uitvoering van 'n komplekse akrobatiese stunt in verskillende klere naboots.
In die proses van sintese word die bewerkings om 'n voorwerp in 'n foto te kies en die ontbrekende elemente van die agtergrond te vorm wanneer dit beweeg gelyktydig uitgevoer. 'n Model vir 'n neurale netwerk kan een keer opgelei word en vir verskeie transformasies gebruik word. Vir laai gereedgemaakte modelle wat jou toelaat om die gereedskap dadelik te gebruik sonder vooraf opleiding. Dit vereis 'n GPU met ten minste 8 GB geheue.
Anders as transformasiemetodes gebaseer op transformasie deur sleutelpunte wat die ligging van die liggaam in tweedimensionele ruimte beskryf, poog Impersonator om 'n driedimensionele mesh (mesh) te sintetiseer met 'n beskrywing van die liggaam deur masjienleermetodes te gebruik.
Die voorgestelde metode laat manipulasies toe met inagneming van die persoonlike vorm van die liggaam en die huidige postuur, wat die natuurlike bewegings van die ledemate simuleer.
Om die oorspronklike inligting, soos teksture, styl, kleure en gesigherkenning te bewaar, gebruik die transformasieproses (). Inligting oor die oorspronklike voorwerp en parameters vir sy presiese identifikasie word onttrek deur toepassing .
Bron: opennet.ru