Skupina výskumníkov z Technickej univerzity v Šanghaji nástrojov , ktorá umožňuje pomocou metód strojového učenia simulovať pohyby ľudí pomocou statických obrázkov, ako aj nahradiť oblečenie, preniesť ho do iného prostredia a zmeniť uhol, z ktorého je objekt viditeľný. Kód je napísaný v jazyku Python
pomocou rámca . Montáž tiež vyžaduje a CUDA Toolkit.
Súbor nástrojov prijíma dvojrozmerný obraz ako vstup a syntetizuje upravený výsledok na základe zvoleného modelu. Podporované sú tri možnosti transformácie:
Vytvorenie pohyblivého objektu, ktorý sleduje pohyby, na ktorých bol model trénovaný. Prenos prvkov vzhľadu z modelu na objekt (napríklad zmena oblečenia). Generovanie nového uhla (napríklad syntéza profilovej snímky na základe fotografie celej tváre). Všetky tri spôsoby sa dajú kombinovať, napríklad z fotografie vygenerujete video, ktoré simuluje prevedenie zložitého akrobatického triku v rôznom oblečení.
Počas procesu syntézy sa súčasne vykonávajú operácie výberu objektu na fotografii a vytvorenie chýbajúcich prvkov pozadia pri pohybe. Model neurónovej siete možno raz natrénovať a použiť na rôzne transformácie. Na nakladanie hotové modely, ktoré vám umožňujú okamžite používať nástroje bez predbežného školenia. Na prevádzku je potrebný GPU s veľkosťou pamäte aspoň 8 GB.
Na rozdiel od transformačných metód založených na transformácii kľúčovými bodmi popisujúcimi umiestnenie tela v dvojrozmernom priestore sa Impersonator pokúša syntetizovať trojrozmernú sieť s popisom tela pomocou metód strojového učenia.
Navrhovaná metóda umožňuje manipulácie s prihliadnutím na personalizovaný tvar tela a aktuálne držanie tela, simulujúce prirodzené pohyby končatín.
Ak chcete zachovať pôvodné informácie, ako sú textúry, štýl, farby a rozpoznávanie tváre počas procesu transformácie, (). Aplikáciou sa získavajú informácie o zdrojovom objekte a parametre pre jeho presnú identifikáciu .
Zdroj: opennet.ru