Et team av forskere fra Tel Aviv University har åpnet kildekoden knyttet til MDM (Motion Diffusion Model) maskinlæringssystem, som gjør det mulig å generere realistiske menneskelige bevegelser. Koden er skrevet i Python ved hjelp av PyTorch-rammeverket og distribueres under MIT-lisensen. For å utføre eksperimenter kan du bruke både ferdige modeller og trene modellene selv ved å bruke de foreslåtte skriptene, for eksempel ved å bruke HumanML3D-samlingen av tredimensjonale menneskelige bilder. For å trene systemet kreves en GPU med CUDA-støtte.
Bruken av tradisjonelle evner for å animere menneskelige bevegelser er vanskelig på grunn av komplikasjonene forbundet med den store variasjonen av mulige bevegelser og vanskeligheten med å formelt beskrive dem, samt den store følsomheten til menneskelig oppfatning for unaturlige bevegelser. Tidligere forsøk på å bruke generative maskinlæringsmodeller har hatt problemer med kvalitet og begrenset uttrykksevne.
Det foreslåtte systemet forsøker å bruke diffusjonsmodeller for å generere bevegelser, som iboende er bedre egnet for å simulere menneskelige bevegelser, men som ikke er uten ulemper, som høye beregningskrav og kontrollkompleksitet. For å minimere manglene ved diffusjonsmodeller, bruker MDM et transformatornevralt nettverk og prøveprediksjon i stedet for støyprediksjon på hvert trinn, noe som gjør det lettere å forhindre anomalier som tap av overflatekontakt med foten.
For å kontrollere generering er det mulig å bruke en tekstbeskrivelse av en handling på naturlig språk (for eksempel "en person går fremover og bøyer seg ned for å plukke opp noe fra bakken") eller bruke standardhandlinger som "løping" og " hopper." Systemet kan også brukes til å redigere bevegelser og fylle ut tapte detaljer. Forskerne gjennomførte en test der deltakerne ble bedt om å velge et bedre resultat fra flere alternativer - i 42% av tilfellene foretrakk folk syntetiserte bevegelser fremfor ekte.
Kilde: opennet.ru