Grupa istraživača sa Šangajskog tehničkog sveučilišta alat , koji koristeći metode strojnog učenja simulira pokrete ljudi na statičkim slikama, kao i zamjenjuje odjeću, premješta u drugo okruženje i mijenja kut pod kojim je objekt vidljiv. Kod je napisan na Python jeziku
uz korištenje okvira . Za izradu su također potrebni i CUDA Toolkit.
Alat prima dvodimenzionalnu sliku kao ulaz i sintetizira promijenjeni rezultat na temelju odabranog modela. Podržava tri varijante transformacija:
Stvaranje pokretnog objekta koji ponavlja pokrete na kojima je model bio treniran. Prijenos elemenata izgleda iz modela na objekt (na primjer, promjena odjeće). Generacija novog kuta (na primjer, sinteza slike u profilu na temelju fotografije sprijeda). Sve tri metode mogu se kombinirati, na primjer, može se generirati video iz fotografije koji simulira izvođenje složenog akrobatskog trika u drugoj odjeći.
Tijekom sinteze obavljaju se dodatne operacije isticanja objekta na fotografiji i formiranja nedostajućih elemenata pozadine prilikom premještanja. Model za neuronsku mrežu može se obučiti jednom i koristiti za različite transformacije. Za preuzimanje gotovi modeli koji omogućuju neposrednu upotrebu alata bez prethodnog treninga. Za rad je potrebno GPU s veličinom memorije od najmanje 8GB.
Za razliku od metoda transformacije temeljenih na ključnim točkama koje opisuju poziciju tijela u dvodimenzionalnom prostoru, u Impersonatoru je poduzet pokušaj sinteze trodimenzionalne mreže (mesh) s opisom tijela, koristeći metode strojnog učenja.
Predložena metoda omogućava manipulacije uzimajući u obzir personalizirani oblik tijela i trenutnu pozu, modelirajući prirodne pokrete udova.
Kako bi se sačuvale izvorne informacije, kao što su teksture, stil, boje i prepoznatljivost lica, tijekom transformacije primjenjuje se (). Informacije o izvornoj objektu i parametri za njegovu točnu identifikaciju izvode se primjenom .
Izvor: opennet.ru
