Skupina výzkumníků z Šanghajské technické univerzity nástroje , která pomocí metod strojového učení simuluje pohyby lidí na statických obrázcích, a také mění oblečení, přesunuje do jiného prostředí a mění úhel, pod kterým je objekt vidět. Kód je napsán v jazyce Python
s použitím frameworku . Pro sestavení je také potřeba a CUDA Toolkit.
Nástroj přijímá dvourozměrný obrázek a syntetizuje změněný výsledek na základě vybraného modelu. Podporovány jsou tři varianty transformací:
Vytváření pohybujícího se objektu, který napodobuje pohyby, na kterých byla model naučena. Přenos prvků vzhledu z modelu na objekt (například změna oblečení). Generování nového úhlu (například syntéza obrázku v profilu na základě fotografie zepředu). Všechny tři metody mohou být kombinovány, například lze na základě fotografie generovat video, které napodobuje provedení složitého akrobatického triku v jiném oblečení.
V procesu syntézy se rovněž provádějí operace izolace objektu na fotografii a formování chybějících prvků pozadí při pohybu. Model pro neuronovou síť může být vyškolen jednou a použit pro různé transformace. K dispozici jsou hotové modely, které umožňují okamžité použití nástroje bez provádění předchozího školení. Pro práci je vyžadováno GPU s velikostí paměti alespoň 8GB.
Na rozdíl od metod transformace založených na transformaci podle klíčových bodů, které popisují umístění těla ve dvourozměrném prostoru, se v Impersonator pokusila o syntézu trojrozměrné sítě (mesh) s popisem těla pomocí metod strojového učení.
Navrhovaná metoda umožňuje manipulace s ohledem na personalizovanou formu těla a aktuální pozici, simulující přirozené pohyby končetin.
Pro zachování původních informací, jako jsou textury, styl, barvy a rozpoznatelnost obličeje, se během transformace používá (). Informace o původním objektu a parametry pro jeho přesnou identifikaci se extrahují pomocí .
Zdroj: opennet.ru
