Rühm teadlasi Shanghai Tehnikaülikoolist tööriistakomplekt , mis võimaldab masinõppe meetodite abil simuleerida inimeste liikumisi staatilistel piltidel, samuti vahetada riideid, viia objekti teise keskkonda ja muuta nurka, millest objekt on nähtav. Kood on kirjutatud Python keeles
kasutades raamistiku . Kogumiseks on samuti vajalik ja CUDA Toolkitt.
Tööriistakomplekt saab sisendiks kahe mõõtme pildi ja sünteesib muudetud tulemuse valitud mudeli alusel. Toetatakse kolme varianti transformatsioonidest:
Liikuv objekti loomine, mis kordab mudeleid, millega on koolitatud. Väljanägemise elementide ülekandmine mudelist objekti (näiteks riiete vahetus). Uue nurga genereerimine (näiteks protsessi sünteesimine profiilis fotolt, mis on tehtud esiküljelt). Kõiki kolme meetodit saab kombineerida, näiteks võib pildi põhjal genereerida video, mis imiteerib keerulise akrobaatilise triki sooritamist teistes riietes.
Sünteesi käigus teostatakse samaaegselt objekti eraldamise toimingud fotol ja vajalike taustaelementide loomine liikumise ajal. Neuraalvõrgu mudelit saab treenida üks kord ja kasutada erinevateks transformatsioonideks. Üleslaadimiseks valmis mudelid, mis võimaldavad kohe tööriistu kasutada ilma eelneva treeninguta. Tööks on vajalik GPU, mille mälumaht on vähemalt 8GB.
Erinevalt punktide transformatsioonil põhinevatest meetoditest, mis kirjeldavad keha asukohta kahemõõtmelises ruumis, on Impersonatoris tehtud katse sünteesida kolm mõõdet (mesh) kehakirjeldusega, kasutades masinaõppe meetodeid.
Pakutud meetod võimaldab maniipuleerimist, arvestades isikupärastatud kehakuju ja praegust poosi, modelleerides looduslikke jäsemete liikumisi.
Algse teabe, nagu tekstuurid, stiil, värvid ja näo äratuntavus, säilitamiseks rakendatakse transformatsiooni protsessis (). Teave algobjekti ja selle täpse tuvastamise parameetrite kohta saadakse rakendades .
Allikas: opennet.ru
