Թել Ավիվի համալսարանի հետազոտողների թիմը բացել է MDM (Motion Diffusion Model) մեքենայական ուսուցման համակարգի հետ կապված ելակետային կոդը, որը թույլ է տալիս ստեղծել իրատեսական մարդկային շարժումներ։ Կոդը գրված է Python-ում՝ օգտագործելով PyTorch շրջանակը և տարածվում է MIT լիցենզիայի ներքո: Փորձեր անցկացնելու համար կարող եք օգտագործել և՛ պատրաստի մոդելները, և՛ մոդելներին ինքներդ վարժեցնել՝ օգտագործելով առաջարկվող սցենարները, օրինակ՝ օգտագործելով մարդկային եռաչափ պատկերների HumanML3D հավաքածուն: Համակարգը վարժեցնելու համար անհրաժեշտ է GPU՝ CUDA աջակցությամբ:
Մարդկային շարժումները աշխուժացնելու համար ավանդական հնարավորությունների օգտագործումը դժվար է հնարավոր շարժումների մեծ բազմազանության և դրանք պաշտոնապես նկարագրելու դժվարության, ինչպես նաև անբնական շարժումների նկատմամբ մարդու ընկալման մեծ զգայունության հետ կապված բարդությունների պատճառով: Մեքենայական ուսուցման գեներատիվ մոդելների օգտագործման նախկին փորձերը խնդիրներ են ունեցել որակի և սահմանափակ արտահայտչականության հետ:
Առաջարկվող համակարգը փորձում է օգտագործել դիֆուզիոն մոդելներ՝ շարժումներ առաջացնելու համար, որոնք ի սկզբանե ավելի հարմար են մարդու շարժումների մոդելավորման համար, սակայն զերծ չեն թերություններից, ինչպիսիք են բարձր հաշվողական պահանջները և կառավարման բարդությունը: Դիֆուզիոն մոդելների թերությունները նվազագույնի հասցնելու համար MDM-ն օգտագործում է տրանսֆորմատորային նեյրոնային ցանց և նմուշի կանխատեսում յուրաքանչյուր փուլում աղմուկի կանխատեսման փոխարեն, ինչը հեշտացնում է անոմալիաների կանխումը, ինչպիսիք են ոտքի հետ մակերեսային շփման կորուստը:
Սերունդը վերահսկելու համար հնարավոր է օգտագործել գործողության տեքստային նկարագրությունը բնական լեզվով (օրինակ՝ «մարդը քայլում է առաջ և կռանում՝ գետնից ինչ-որ բան վերցնելու») կամ օգտագործել ստանդարտ գործողություններ, ինչպիսիք են «վազել» և « նետվելով»։ Համակարգը կարող է օգտագործվել նաև շարժումները խմբագրելու և կորցրած մանրամասները լրացնելու համար: Հետազոտողները թեստ են անցկացրել, որի ընթացքում մասնակիցներին առաջարկվել է ավելի լավ արդյունք ընտրել մի քանի տարբերակներից՝ դեպքերի 42%-ում մարդիկ գերադասում էին սինթեզված շարժումները իրականից:
Source: opennet.ru