Un grup de cercetători de la Universitatea Tel Aviv a dezvăluit codurile sursă legate de sistemul de învățare automată MDM (Modelul de Difuzie a Mișcărilor), care permite generarea de mișcări realiste ale oamenilor. Codul este scris în limbajul Python folosind cadrul PyTorch și este distribuit sub licența MIT. Pentru a efectua experimente, se pot folosi atât modele gata făcute, cât și se poate antrena modelele singuri cu ajutorul scripturilor oferite, de exemplu, folosind colecția de imagini tridimensionale ale oamenilor HumanML3D. Pentru antrenarea sistemului este necesar un GPU care suportă CUDA.
Aplicarea capacităților tradiționale pentru animarea mișcărilor umane este complicată din cauza diversității mari a mișcărilor posibile și a dificultății de a le descrie formal, precum și din cauza sensibilității mari a percepției umane la mișcările nenaturale. Anterior, încercările de a utiliza modele generative de învățare automată au avut probleme cu calitatea și expresivitatea limitată.
În sistemul propus, s-a încercat utilizarea modelelor de difuzie pentru generarea mișcărilor, care, prin natura lor, se potrivesc mai bine pentru simularea mișcărilor umane, dar nu sunt lipsite de dezavantaje, cum ar fi cerințele ridicate de resurse computaționale și complexitatea de gestionare. Pentru a minimiza dezavantajele modelelor de difuzie, în MDM este implicată o rețea neurală cu arhitectura „transformer” și predicția unui sample în locul predicției zgomotului la fiecare etapă, ceea ce simplifică prevenirea anomaliilor, cum ar fi pierderea contactului suprafeței cu piciorul.
Pentru a controla generarea, este prevăzută posibilitatea de a aplica o descriere textuală a acțiunii în limbaj natural (de exemplu, „o persoană merge înainte și se apleacă pentru a ridica ceva de pe pământ”) sau utilizarea unor acțiuni tipice, cum ar fi „alerga” și „sărituri”. Sistemul poate fi de asemenea utilizat pentru a edita mișcările și a completa detalii pierdute. Cercetătorii au realizat teste, la care participanții au fost rugați să aleagă dintre mai multe opțiuni un rezultat de o calitate mai bună — în 42% din cazuri oamenii au preferat mișcările sintetizate în locul celor reale.
Sursa: opennet.ro
