Skupina výskumníkov z technickej univerzity v Šanghaji nástroj , ktorý pomocou metód strojového učenia simuluje pohyby ľudí na statických obrázkoch, ako aj mení oblečenie, presúva objekty do iného prostredia a mení uhol pohľadu na objekt. Kód je napísaný v jazyku Python
s použitím frameworku . Na zostavenie je tiež potrebné a CUDA Toolkit.
Nástroj prijíma dvojrozmerný obrázok a syntetizuje zmenený výsledok na základe vyvoleného modelu. Podporujú sa tri varianty transformácií:
Vytvorenie pohybujúceho sa objektu, ktorý napodobňuje pohyby, na ktorých bola model vytrénovaná. Prenos prvkov vzhľadu z modelu na objekt (napríklad výmena oblečenia). Generovanie nového uhla pohľadu (napríklad syntéza obrázku v profile na základe fotografie z profilu). Všetky tri metódy je možné kombinovať, napríklad môžete na základe fotografie generovať video, ktoré simuluje vykonanie zložitých akrobatických ťahov v inom oblečení.
Počas syntézy sa zároveň vykonávajú operácie vyčleňovania objektu na fotografii a formovania chýbajúcich prvkov pozadia pri presune. Model neurónovej siete môže byť vyškolený raz a používať sa na rôzne transformácie. Na stiahnutie sú k dispozícii vstavané modely, ktoré umožňujú okamžité použitie nástroja bez predchádzajúceho školenia. Na prácu je potrebné GPU s pamäťou minimálne 8 GB.
Na rozdiel od metód transformácie založených na transformácii podľa kľúčových bodov opisujúcich umiestnenie tela v dvojrozmernom priestore, v Impersonator je pokus o syntézu trojrozmernej mriežky (mesh) s popisom tela pomocou metód strojového učenia.
Navrhnutá metóda umožňuje manipulácie so zohľadnením personalizovanej formy tela a aktuálnej pozície, modelujúc prirodzené pohyby končatín.
Na zachovanie pôvodných informácií, ako sú textúry, štýl, farby a rozpoznateľnosť tváre, sa počas transformácie aplikuje (). Informácie o pôvodnom objekte a parametre na jeho presnú identifikáciu sa extrahujú aplikovaním .
Zdroj: opennet.ru
