Skupina raziskovalcev s Šanghajske tehnične univerze orodja , ki omogoča uporabo metod strojnega učenja simulacijo gibanja ljudi s pomočjo statičnih slik, pa tudi zamenjavo oblačil, prenos v drugo okolje in spreminjanje kota, iz katerega je predmet viden. Koda je napisana v Pythonu
z uporabo ogrodja . Montaža zahteva tudi in CUDA Toolkit.
Komplet orodij prejme dvodimenzionalno sliko kot vhod in sintetizira spremenjen rezultat na podlagi izbranega modela. Podprte so tri možnosti transformacije:
Ustvarjanje premikajočega se predmeta, ki sledi gibom, na katerih je bil model urjen. Prenos elementov videza z modela na predmet (na primer sprememba oblačil). Generiranje novega zornega kota (na primer sinteza profilne slike na osnovi fotografije v celoten obraz). Vse tri metode je mogoče kombinirati, na primer, iz fotografije lahko ustvarite video, ki simulira izvedbo kompleksnega akrobatskega trika v različnih oblačilih.
V procesu sinteze se istočasno izvajata operaciji izbire objekta na fotografiji in oblikovanja manjkajočih elementov ozadja pri premikanju. Model nevronske mreže je mogoče enkrat usposobiti in uporabiti za različne transformacije. Za nalaganje že pripravljeni modeli, ki vam omogočajo takojšnjo uporabo orodja brez predhodnega usposabljanja. Za delovanje je potreben GPE z velikostjo pomnilnika vsaj 8 GB.
Za razliko od transformacijskih metod, ki temeljijo na transformaciji s ključnimi točkami, ki opisujejo lokacijo telesa v dvodimenzionalnem prostoru, poskuša Impersonator sintetizirati tridimenzionalno mrežo z opisom telesa z uporabo metod strojnega učenja.
Predlagana metoda omogoča manipulacije ob upoštevanju personalizirane oblike telesa in trenutne drže ter simulira naravne gibe udov.
Za ohranitev izvirnih informacij, kot so teksture, slog, barve in prepoznavanje obraza med postopkom transformacije, (). Podatki o izvornem objektu in parametri za njegovo natančno identifikacijo se ekstrahirajo z uporabo .
Vir: opennet.ru