Grupa istraživača sa Šangajskog tehničkog univerziteta alata , koji omogućava korištenje metoda strojnog učenja za simulaciju pokreta ljudi pomoću statičnih slika, kao i zamjenu odjeće, prijenos u drugu okolinu i promjenu ugla iz kojeg je objekt vidljiv. Kod je napisan u Pythonu
koristeći okvir . Montaža takođe zahteva i CUDA Toolkit.
Komplet alata prima dvodimenzionalnu sliku kao ulaz i sintetiše modifikovani rezultat na osnovu odabranog modela. Podržane su tri opcije transformacije:
Kreiranje pokretnog objekta koji prati pokrete na kojima je model treniran. Prenošenje elemenata izgleda sa modela na predmet (na primjer, promjena odjeće). Generisanje novog ugla (na primer, sinteza slike profila na osnovu fotografije celog lica). Sve tri metode se mogu kombinirati, na primjer, možete generirati video iz fotografije koji simulira izvođenje složenog akrobatskog trika u različitoj odjeći.
U procesu sinteze istovremeno se izvode operacije odabira objekta na fotografiji i formiranja elemenata pozadine koji nedostaju prilikom kretanja. Model neuronske mreže može se jednom obučiti i koristiti za različite transformacije. Za utovar gotovi modeli koji vam omogućavaju da odmah koristite alate bez prethodne obuke. Za rad je potreban GPU sa veličinom memorije od najmanje 8 GB.
Za razliku od metoda transformacije zasnovanih na transformaciji po ključnim tačkama koje opisuju lokaciju tijela u dvodimenzionalnom prostoru, Impersonator pokušava sintetizirati trodimenzionalnu mrežu s opisom tijela koristeći metode mašinskog učenja.
Predložena metoda omogućava manipulacije uzimajući u obzir personalizirani oblik tijela i trenutno držanje tijela, simulirajući prirodne pokrete udova.
Za očuvanje originalnih informacija kao što su teksture, stil, boje i prepoznavanje lica tokom procesa transformacije, (). Informacije o izvornom objektu i parametrima za njegovu preciznu identifikaciju izdvajaju se primjenom .
izvor: opennet.ru