Tim istraživača sa Univerziteta u Tel Avivu otvorio je izvorni kod povezan sa MDM (Motion Diffusion Model) sistemom mašinskog učenja, koji omogućava generisanje realističnih ljudskih pokreta. Kod je napisan u Pythonu koristeći PyTorch framework i distribuira se pod MIT licencom. Za provođenje eksperimenata možete koristiti i gotove modele i sami trenirati modele koristeći predložene skripte, na primjer, koristeći HumanML3D kolekciju trodimenzionalnih ljudskih slika. Za obuku sistema potreban je GPU sa CUDA podrškom.
Korištenje tradicionalnih sposobnosti za animiranje ljudskih pokreta otežano je zbog komplikacija povezanih s velikom raznolikošću mogućih pokreta i poteškoćama u njihovom formalnom opisu, kao i zbog velike osjetljivosti ljudske percepcije na neprirodne pokrete. Prethodni pokušaji korištenja generativnih modela strojnog učenja imali su problema s kvalitetom i ograničenom ekspresivnošću.
Predloženi sistem pokušava da koristi modele difuzije za generisanje pokreta, koji su inherentno pogodniji za simulaciju ljudskih pokreta, ali nisu bez nedostataka, kao što su visoki računski zahtjevi i složenost upravljanja. Da bi se minimizirali nedostaci difuzijskih modela, MDM koristi neuronsku mrežu transformatora i predviđanje uzorka umjesto predviđanja buke u svakoj fazi, što olakšava sprečavanje anomalija kao što je gubitak kontakta površine sa stopalom.
Za kontrolu generiranja moguće je koristiti tekstualni opis radnje na prirodnom jeziku (na primjer, „osoba ide naprijed i saginje se da podigne nešto sa zemlje“) ili koristiti standardne radnje kao što su „trčanje“ i „ skakanje.” Sistem se također može koristiti za uređivanje pokreta i popunjavanje izgubljenih detalja. Istraživači su proveli test u kojem se od učesnika tražilo da odaberu bolji rezultat između nekoliko opcija - u 42% slučajeva ljudi su preferirali sintetizirane pokrete u odnosu na stvarne.
izvor: opennet.ru