Code for animation synthesis using neural networks is now open

Shanghaï tehnikakõrgkooli teadlaste grupp avalikustas tööriistakomplekt Impersonator, mis võimaldab masinõppe meetodite abil simuleerida inimeste liikumisi staatilistel piltidel, samuti asendada riideid, viia objekt teise keskkonda ja muuta vaatenurka, mille alt objekt on nähtav. Kood on kirjutatud keeles Python
rakendades raamistikku PyTorch. Kogumise jaoks on samuti vajalik torchvision ja CUDA Toolkit.

Tööriist võtab sisendina kahemõõtmelise pildi ja sünteesib muudetud tulemuse valitud mudeli põhjal. Toe all on kolm varianti transformatsioonidest:
Liikuva objekti loomine, mis kordab mudeleid, millele ta on koolitatud. Välimuse elementide ülekandmine modellist objektile (nt riiete vahetamine). Uue vaatenurga genereerimine (nt portree sünteesimine põhjal fotost). Kõiki kolme meetodit saab kombineerida, näiteks on võimalik fotost genereerida video, mis imiteerib keerulise akrobaatikatriki sooritamist teistes riietes.

Sünteesi käigus tehakse samal ajal ka objektide eristamise ja tausta puuduvate elementide loomise toimingud liikumise ajal. Mudelit närvivõrgu jaoks saab koolitada ühe korra ja kasutada erinevateks transformatsioonideks. Laadimiseks saadaval valmis mudelid, mis võimaldavad tööriista kohe kasutada ilma eelneva koolituseta. Tööks on vajalik GPU, mille mälu suurus on vähemalt 8GB.

Erinevalt transformatsioonimeetoditest, mis põhinevad võtmepunktide transformatsioonil, mis kirjeldavad keha asukohta kahemõõtmelises ruumis, on Impersonatoris püütud sünteesida kolme mõõtmelist võrku (mesh), mis kirjeldab keha, kasutades masinõppe meetodeid.
Pakutud meetod võimaldab manipuleerida, arvestades isikupärastatud keha kuju ja hetki, modelleerides loomulikke jäsemete liikumisi.

Algteabe, näiteks tekstuuride, stiili, värvide ja näo äratuntavuse säilitamiseks rakendatakse transformatsiooni käigus generatiivset vastandvõrku (Liquid Warping GAN). Algobjekti teave ja parameetrid selle täpseks tuvastamiseks ekstraheeritakse konvolutsiooniliste närvivõrkude rakendamise teel konvolutsiooniline närvivõrk.

Allikas: opennet.ru