In team fan ûndersikers fan 'e Universiteit fan Tel Aviv hat de boarnekoade iepene ferbûn mei it MDM (Motion Diffusion Model) masine-learsysteem, wêrtroch realistyske minsklike bewegingen kinne generearje. De koade is skreaun yn Python mei it PyTorch-ramt en wurdt ferspraat ûnder de MIT-lisinsje. Om eksperiminten út te fieren, kinne jo beide klearmakke modellen brûke en de modellen sels traine mei de foarstelde skripts, bygelyks mei de HumanML3D-kolleksje fan trijediminsjonale minsklike bylden. Om it systeem te trenen is in GPU mei CUDA-stipe nedich.
It brûken fan tradisjonele mooglikheden foar it animearjen fan minsklike bewegingen is lestich fanwege de komplikaasjes dy't ferbûn binne mei it grutte ferskaat oan mooglike bewegingen en de muoite om se formeel te beskriuwen, en ek de grutte gefoelichheid fan minsklike waarnimming foar ûnnatuerlike bewegings. Eardere besykjen om generative masine-learmodellen te brûken hawwe problemen mei kwaliteit en beheinde ekspressiviteit.
It foarstelde systeem besiket diffúsjemodellen te brûken om bewegingen te generearjen, dy't ynherinte better geskikt binne foar it simulearjen fan minsklike bewegingen, mar binne net sûnder neidielen, lykas hege komputaasjeeasken en kontrôlekompleksiteit. Om de tekoarten fan diffusionmodellen te minimalisearjen, brûkt MDM in transformator-neuraal netwurk en samplefoarsizzing ynstee fan lûdfoarsizzing op elke poadium, wêrtroch it makliker is om anomalies te foarkommen lykas ferlies fan oerflakkontakt mei de foet.
Om de generaasje te kontrolearjen, is it mooglik om in tekstbeskriuwing fan in aksje yn natuerlike taal te brûken (bygelyks "in persoan rint nei foaren en bûcht him om wat fan 'e grûn op te heljen") of gebrûk fan standertaksjes lykas "rinne" en " springe.” It systeem kin ek brûkt wurde om bewegingen te bewurkjen en ferlerne details yn te foljen. De ûndersikers fierden in test wêryn dielnimmers waarden frege om in better resultaat te kiezen út ferskate opsjes - yn 42% fan 'e gefallen hawwe minsken foarkar oan synthesisearre bewegingen boppe echte.
Boarne: opennet.ru