Grupa istraživača sa Sveučilišta u Tel Avivu objavila je izvorne tekstove povezane sa sustavom strojnog učenja MDM (Motion Diffusion Model), koji omogućuje generiranje realističnih pokreta čovjeka. Kod je napisan na jeziku Python koristeći framework PyTorch i distribuira se pod MIT licencom. Za provođenje eksperimenata mogu se koristiti već gotovi modeli, ili se može provesti trening modela samostalno pomoću ponuđenih skripti, na primjer, koristeći kolekciju trodimenzionalnih slika čovjeka HumanML3D. Za obuku sustava potrebna je GPU koja podržava CUDA.
Primjena tradicionalnih mogućnosti za animiranje pokreta čovjeka otežana je zbog komplikacija povezanih s velikim raznolikostima mogućih pokreta i poteškoće u njihovom formalnom opisu, kao i zbog velike osjetljivosti ljudske percepcije na neprirodne pokrete. Ranije pokušaji korištenja generativnih modela strojnog učenja imali su problema s kvalitetom i ograničenom izražajnošću.
U predloženom sustavu poduzeta je pokušaj korištenja difuzijskih modela za generaciju pokreta koji su po svojoj suštini bolje prilagođeni simulaciji ljudskih pokreta, ali nisu lišeni nedostataka, kao što su visoki zahtjevi za računalnim resursima i složenost upravljanja. Kako bi se minimalizirali nedostaci difuzijskih modela, u MDM je uključena neuronska mreža s arhitekturom 'transformer' i predviđanje uzorka (sample) umjesto predviđanja šuma u svakom koraku, što pojednostavljuje sprečavanje anomalija, poput gubitka kontakta površine s nogom.
Za upravljanje generacijom predviđena je mogućnost korištenja tekstualnog opisa akcije na prirodnom jeziku (na primjer, 'čovjek ide naprijed i naginje se kako bi podigao nešto s tla') ili korištenje tipičnih akcija, kao što su 'trčanje' i 'skačuće'. Sustav se također može koristiti za uređivanje pokreta i popunjavanje izgubljenih detalja. Istraživači su proveli testiranje, u kojem su sudionici birali iz nekoliko opcija kvalitetniji rezultat — u 42% slučajeva ljudi su dali prednost sintetiziranim pokretima umjesto stvarnim.
Izvor: opennet.ru
