Skupina výskumníkov z Telavivskej univerzity odhalila zdrojové kódy spojené so systémom strojového učenia MDM (Motion Diffusion Model), ktorý umožňuje generovať realistické pohyby človeka. Kód je napísaný v jazyku Python s využitím rámca PyTorch a je distribuovaný pod licenciou MIT. Na vykonávanie experimentov je možné použiť ako hotové modely, tak aj tréning modelov samostatne pomocou navrhovaných skriptov, napríklad použitím zbierky trojrozmerných obrázkov človeka HumanML3D. Na tréning systému je potrebná GPU s podporou CUDA.
Použitie tradičných možností na animovanie pohybov človeka je sťažené komplikáciami spojenými s veľkou rozmanitosťou možných pohybov a ťažkosťou ich formálneho popisu, ako aj so značnou citlivosťou ľudského vnímania na neprirodzené pohyby. Predchádzajúce pokusy o využitie generatívnych modelov strojového učenia mali problémy so kvalitou a obmedzenou výraznosťou.
V navrhnutom systéme je použitý difúzny model na generovanie pohybov, ktorý je v podstate lepšie prispôsobený na simuláciu ľudských pohybov, avšak nie je bez nedostatkov, ako sú vysoké nároky na výpočtové zdroje a zložitost riadenia. Na minimalizáciu nedostatkov difúznych modelov je v MDM zapojená neurónová sieť s architektúrou transformera a predikcia vzorky (sample) namiesto predikcie šumu v každom kroku, čo uľahčuje predchádzanie anomáliám, ako je strata kontaktu povrchu s nohou.
Na riadenie generovania je predpokladaná možnosť využitia textového opisu akcie v prirodzenom jazyku (napríklad „človek ide dopredu a skláňa sa, aby zdvihol niečo zo zeme“) alebo využitie typových akcií, ako sú „beh“ a „skoky“. Systém sa dá tiež aplikovať na úpravu pohybov a doplnenie chýbajúcich detailov. Výskumníci uskutočnili testovanie, v ktorom účastníci mali vybrať z niekoľkých možností kvalitnejší výsledok - v 42 % prípadov uprednostnili syntetizované pohyby pred reálnymi.
Zdroj: opennet.ru
