Mokslininkų grupė iš Šanchajaus technikos universiteto įrankiai , kuri leidžia naudojant mašininio mokymosi metodus imituoti žmonių judesius naudojant statinius vaizdus, taip pat pakeisti drabužius, perkelti juos į kitą aplinką ir keisti objekto matomumo kampą. Kodas parašytas Python
naudojant karkasą . Surinkimas taip pat reikalauja ir CUDA įrankių rinkinys.
Įrankių rinkinys kaip įvestį gauna dvimatį vaizdą ir sintezuoja modifikuotą rezultatą pagal pasirinktą modelį. Palaikomos trys transformacijos parinktys:
Sukurti judantį objektą, kuris seka judesius, kuriais buvo mokomas modelis. Išvaizdos elementų perkėlimas iš modelio į objektą (pavyzdžiui, drabužių keitimas). Naujo kampo generavimas (pavyzdžiui, profilio vaizdo sintezė remiantis viso veido nuotrauka). Visus tris metodus galima derinti, pavyzdžiui, iš nuotraukos galite sukurti vaizdo įrašą, imituojantį sudėtingo akrobatinio triuko atlikimą skirtingais drabužiais.
Sintezės metu vienu metu atliekamos objekto nuotraukoje parinkimo ir judant trūkstamų fono elementų formavimo operacijos. Neuroninio tinklo modelį galima išmokyti vieną kartą ir naudoti įvairioms transformacijoms. Dėl pakrovimo paruošti modeliai, leidžiantys iš karto naudoti įrankius be išankstinio mokymo. Kad veiktų, reikalingas GPU, kurio atmintis yra bent 8 GB.
Skirtingai nuo transformacijos metodų, pagrįstų transformacija pagrindiniais taškais, apibūdinančiais kūno vietą dvimatėje erdvėje, „Impersonator“ bando susintetinti trimatį tinklelį su kūno aprašymu, naudodamas mašininio mokymosi metodus.
Siūlomas metodas leidžia atlikti manipuliacijas atsižvelgiant į individualizuotą kūno formą ir esamą laikyseną, imituojant natūralius galūnių judesius.
Norėdami išsaugoti originalią informaciją, tokią kaip tekstūros, stilius, spalvos ir veido atpažinimas transformacijos proceso metu, (). Informacija apie šaltinio objektą ir parametrai jo tiksliam identifikavimui išgaunami taikant .
Šaltinis: opennet.ru