Grupa istraživača sa Šangajskog tehničkog sveučilišta alata , koji omogućuje korištenje metoda strojnog učenja za simulaciju pokreta ljudi pomoću statičnih slika, kao i zamjenu odjeće, njezin prijenos u drugo okruženje i promjenu kuta iz kojeg je predmet vidljiv. Kod je napisan u Pythonu
pomoću okvira . Montaža također zahtijeva i CUDA Toolkit.
Skup alata prima dvodimenzionalnu sliku kao ulaz i sintetizira modificirani rezultat na temelju odabranog modela. Podržane su tri opcije transformacije:
Izrada pokretnog objekta koji prati pokrete na kojima je model treniran. Prijenos elemenata izgleda s modela na objekt (na primjer, promjena odjeće). Generiranje novog kuta (primjerice, sinteza profilne slike na temelju fotografije u cijelom licu). Sve tri metode mogu se kombinirati, na primjer, možete generirati video iz fotografije koja simulira izvođenje složenog akrobatskog trika u različitoj odjeći.
Tijekom procesa sinteze istovremeno se izvode operacije odabira objekta na fotografiji i formiranja nedostajućih pozadinskih elemenata pri kretanju. Model neuronske mreže može se jednom trenirati i koristiti za različite transformacije. Za utovar gotovi modeli koji vam omogućuju da odmah koristite alate bez prethodne obuke. Zahtijeva GPU s najmanje 8 GB memorije.
Za razliku od metoda transformacije koje se temelje na transformaciji ključnih točaka koje opisuju lokaciju tijela u dvodimenzionalnom prostoru, Impersonator pokušava sintetizirati trodimenzionalnu mrežu s opisom tijela koristeći metode strojnog učenja.
Predložena metoda omogućuje manipulacije uzimajući u obzir personalizirani oblik tijela i trenutno držanje, simulirajući prirodne pokrete udova.
Za očuvanje izvornih informacija kao što su teksture, stil, boje i prepoznavanje lica tijekom procesa transformacije, (). Primjenom se izvlače podaci o izvornom objektu i parametrima za njegovu preciznu identifikaciju .
Izvor: opennet.ru