Tel Avivi ülikooli teadlaste meeskond avas MDM-i (Motion Diffusion Model) masinõppesüsteemiga seotud lähtekoodi, mis võimaldab genereerida realistlikke inimliigutusi. Kood on kirjutatud Pythonis PyTorchi raamistiku abil ja seda levitatakse MIT-i litsentsi all. Katsete läbiviimiseks saab kasutada nii valmismudeleid kui ka ise mudeleid treenida, kasutades pakutud skripte, kasutades näiteks kolmemõõtmeliste inimpiltide kollektsiooni HumanML3D. Süsteemi koolitamiseks on vaja CUDA toega GPU-d.
Traditsiooniliste võimaluste kasutamine inimliigutuste animeerimiseks on keeruline võimalike liigutuste suure mitmekesisusega seotud komplikatsioonide ja nende formaalse kirjeldamise raskuse ning inimtaju suure tundlikkuse tõttu ebaloomulike liikumiste suhtes. Varasematel katsetel kasutada generatiivseid masinõppe mudeleid on olnud probleeme kvaliteedi ja piiratud väljendusvõimega.
Kavandatav süsteem püüab kasutada liikumiste genereerimiseks difusioonimudeleid, mis oma olemuselt sobivad paremini inimese liikumiste simuleerimiseks, kuid millel pole ka puudusi, nagu kõrged arvutusnõuded ja juhtimise keerukus. Difusioonimudelite puuduste minimeerimiseks kasutab MDM igas etapis müra ennustamise asemel trafo närvivõrku ja proovi ennustamist, mis muudab anomaaliate, nagu pinnakontakti kadumise jalaga, ärahoidmise lihtsamaks.
Põlvkonna juhtimiseks on võimalik kasutada loomulikus keeles toimingu tekstikirjeldust (näiteks “inimene kõnnib ette ja kummardub, et midagi maast üles tõsta”) või tavatoiminguid nagu “jooksmine” ja “ hüppamine." Süsteemi saab kasutada ka liigutuste redigeerimiseks ja kadunud detailide täitmiseks. Teadlased viisid läbi testi, kus osalejatel paluti valida mitme variandi hulgast parem tulemus – 42% juhtudest eelistasid inimesed sünteesitud liigutusi päris liigutustele.
Allikas: opennet.ru