En gruppe forskere fra Tel Aviv Universitet har offentliggjort kildekoder relateret til systemet for maskinlæring MDM (Motion Diffusion Model), som gør det muligt at generere realistiske menneskelige bevægelser. Koden er skrevet i Python med brug af frameworket PyTorch og distribueres under MIT-licensen. Til eksperimenterne kan man bruge både færdige modeller og træne modeller selv ved hjælp af de tilbudte scripts, f.eks. ved at bruge samlingen af 3D-billeder af mennesker HumanML3D. Systemet kræver et GPU, der understøtter CUDA til træning.
Anvendelsen af traditionelle metoder til at animere menneskelige bevægelser er vanskeliggjort af kompleksiteten ved det store udvalg af mulige bevægelser og vanskelighederne ved at beskrive dem formelt, samt den store følsomhed i menneskelig perception over for unaturlige bevægelser. Tidligere forsøg på at bruge generative modeller af maskinlæring har haft problemer med kvalitet og begrænset udtryksfuldhed.
I det foreslåede system er der forsøgt at anvende diffusionsmodeller til at generere bevægelser, som i sin essens er bedre egnet til at simulere menneskelige bevægelser, men som ikke er uden ulemper, såsom høje krav til computerressourcer og kompleksitet i styringen. For at minimere ulemperne ved diffusionsmodeller er der i MDM involveret et neuralt netværk med arkitektur som 'transformer' og forudsigelse af et sample i stedet for at forudsige støj på hvert trin, hvilket forenkler forhindring af anomalier såsom tab af kontakt mellem overfladen og foden.
Til styring af genereringen er der mulighed for at anvende en tekstbeskrivelse af handlingen på naturligt sprog (f.eks. 'en person går fremad og bøjer sig for at samle noget op fra jorden') eller bruge typiske handlinger som 'løb' og 'spring'. Systemet kan også anvendes til at redigere bevægelser og udfylde manglende detaljer. Forskere har udført test, hvor deltagerne blev bedt om at vælge det mere kvalitetsresultat fra flere muligheder — i 42% af tilfældene foretrak folk de syntetiserede bevægelser frem for de reelle.
Kilde: opennet.ru
