Tel-Avivi ülikooli teadlaste rühm avaldas MDM (Motion Diffusion Model) masinõppesüsteemiga seotud lähtekoodid, mis võimaldab genereerida realistlikke inimliikumisi. Kood on kirjutatud Python'i keeles ja kasutab PyTorch raamistikku, jagatakse MIT litsentsi alusel. Eksperimentide jaoks saab kasutada nii valmis mudeleid kui ka koolitada mudeleid ise, kasutades pakutud skripte, näiteks inimese kolme mõõtme piltide kogumit HumanML3D. Süsteemi koolitamiseks on vajalik CUDA toetav GPU.
Inimeste liikumise animeerimise traditsiooniliste võimaluste rakendamine on keeruline, kuna on palju erinevaid võimalikke liikumisi ja nende formaalne kirjeldamine on keeruline. Inimese tajumise tundlikkus ebaloomulike liikumiste suhtes toob endaga kaasa lisaraskusi. Varasemad katsed generatiivsete masinõppemudelite kasutamisega olid seotud kvaliteedi ja piiratud väljendusrikkuse probleemidega.
Pakutud süsteemis on püütud kasutada difusioonimudeleid liikumiste genereerimiseks, mis sobivad oma olemuselt paremini inimelementide simuleerimiseks, kuid ei ole vabad puudustest, nagu kõrged nõudmised arvutusressurssidele ja keerukus juhtimisel. Difusioonimudelite puuduste minimeerimiseks on MDM-s kaasatud transformeerija arhitektuuriga närvivõrk ja mustri (sample) ennustamine iga etapi asemel müraga ennustamine, mis lihtsustab anomaaliate vältimist, nagu näiteks pinnaga jalaga kontaktide kaotamine.
Generatsiooni haldamiseks on võimalik kasutada loodusliku keele tegevuse tekstilist kirjeldust (näiteks "inimene kõnnib edasi ja kummardub, et midagi maast võtta") või kasutada tüüpilisi tegevusi, nagu "jooksmine" ja "hüppamine". Süsteemi saab kasutada ka liikumise redigeerimiseks ja kadunud detailide täiendamiseks. Uurijad viisid läbi teste, kus osalejatele pakuti valida mitme variandi hulgast kvaliteetsem tulemus — 42% juhtudest eelistavad inimesed sünteesitud liikumisi, mitte reaalset.
Allikas: opennet.ru
