Skupina výzkumníků z Technické univerzity v Šanghaji nástroje , která umožňuje pomocí metod strojového učení simulovat pohyby lidí pomocí statických obrázků a také vyměnit oblečení, přenést je do jiného prostředí a změnit úhel, ze kterého je objekt viditelný. Kód je napsán v Pythonu
pomocí rámce . Montáž také vyžaduje a CUDA Toolkit.
Sada nástrojů přijímá jako vstup dvourozměrný obrázek a syntetizuje upravený výsledek na základě vybraného modelu. Jsou podporovány tři možnosti transformace:
Vytvoření pohyblivého objektu, který sleduje pohyby, na kterých byl model trénován. Přenesení prvků vzhledu z modelu na předmět (například změna oblečení). Generování nového úhlu (například syntéza profilového snímku na základě fotografie celé tváře). Všechny tři způsoby lze kombinovat, například z fotografie vygenerujete video, které simuluje provedení složitého akrobatického triku v různém oblečení.
Během procesu syntézy se současně provádějí operace výběru objektu na fotografii a vytvoření chybějících prvků pozadí při pohybu. Model neuronové sítě lze jednou natrénovat a použít pro různé transformace. Pro načítání hotové modely, které vám umožní okamžitě používat nástroje bez předběžného školení. K provozu je potřeba GPU s velikostí paměti alespoň 8 GB.
Na rozdíl od transformačních metod založených na transformaci pomocí klíčových bodů popisujících umístění těla ve dvourozměrném prostoru se Impersonator pokouší syntetizovat trojrozměrnou síť s popisem těla pomocí metod strojového učení.
Navržená metoda umožňuje manipulace s přihlédnutím k personalizovanému tvaru těla a aktuálnímu držení těla, simulující přirozené pohyby končetin.
Chcete-li zachovat původní informace, jako jsou textury, styl, barvy a rozpoznávání obličeje během procesu transformace, (). Aplikací jsou extrahovány informace o zdrojovém objektu a parametry pro jeho přesnou identifikaci .
Zdroj: opennet.ru