Avatud on masinõppe süsteemi kood realistlike inimeste liikumiste genereerimiseks

Tel Avivi ülikooli teadlaste grupp avas lähtekoodid, mis on seotud masinõppe süsteemiga MDM (Motion Diffusion Model), mis võimaldab genereerida realistlikke inimeste liikumisi. Kood on kirjutatud Pythonis, kasutades PyTorchi raamistikku, ja seda levitatakse MIT-litsentsi alusel. Eksperimentide läbiviimiseks saab kasutada nii ettevalmistatud mudeleid kui ka treenida mudeleid iseseisvalt pakutavate skriptide abil, näiteks kasutades kolme mõõtmeliste inimeste piltide kogu HumanML3D. Süsteemi õpetamiseks on vajalik CUDA toega GPU.

Tavapäraste võimaluste rakendamine inimese liikumiste animeerimiseks on keeruline, kuna suur liikuvate võimaluste mitmekesisus ja nende formaalse kirjeldamise raskused, samuti inimese tajumise suur tundlikkus ebatavaliste liikumiste suhtes. Varasemad katsed kasutada genereerivaid masinõppe mudeleid seisid silmitsi kvaliteedi ja piiratud väljendusvõime probleemidega.

Pakkuda süsteemis on katse kasutada liikumiste genereerimiseks difusioonimudeleid, mis oma olemuselt sobivad paremini inimeste liikumiste simuleerimiseks, kuid ei ole ilma puudusteta, nagu kõrged arvutusressursside nõudmised ja keeruline juhtimine. MDM-is on difusioonimudelite puuduste minimeerimiseks kasutatud 'transformer' arhitektuuriga närvivõrku ja malli (sample) ennustamist asemel müra ennustamise igal etapil, mis lihtsustab anomaaliate, näiteks jala pinnaga kontakti kaotamise ennetamist.

Generatsiooni juhtimiseks on ette nähtud võimalus kasutada loomulikus keeles tegevuse tekstilist kirjeldust (näiteks 'inimene kõnnib edasi ja kummardub midagi maast üles tõstma') või kasutada tüüpilisi tegevusi nagu 'jooks' ja 'hüpped'. Süsteemi saab kasutada ka liikumiste redigeerimiseks ja kaotatud detailide täiendamiseks. Teadlaste poolt viidi läbi testimine, mille käigus osalejate ülesanne oli valida mitme variandi seast kvaliteetsem tulemus — 42% juhtudest eelistavad inimesed sünteesitud liikumisi reaalsetele.

Allikas: opennet.ru