Skupina výzkumníků z Telavivské univerzity otevřela zdrojové kódy spojené se systémem strojového učení MDM (Motion Diffusion Model), který umožňuje generovat realistické pohyby lidí. Kód je napsán v jazyce Python za použití frameworku PyTorch a je distribuován pod licencí MIT. Pro experimentování je možné používat jak hotové modely, tak provést školení modelů samostatně pomocí dodaných skriptů, například využitím kolekce třírozměrných obrazů člověka HumanML3D. Pro školení systému je vyžadována GPU s podporou CUDA.
Použití tradičních možností pro animaci pohybů lidí je ztíženo komplikacemi spojenými s velkým rozmanitostí možných pohybů a obtížností jejich formálního popisu, stejně jako velkou citlivostí lidského vnímání na neobvyklé pohyby. Dřívější pokusy o použití generativních modelů strojového učení měly problémy s kvalitou a omezenou vyjadřovací schopností.
V navrženém systému byla učiněna snaha o použití pro generaci pohybů difuzních modelů, které jsou sami o sobě lépe přizpůsobeny simulaci lidských pohybů, ale ani ty nejsou bez nedostatků, jako jsou vysoké nároky na výpočetní zdroje a složitost ovládání. Aby se minimalizovaly nedostatky difuzních modelů, je v MDM zapojena neuronová síť s architekturou „transformer“ a prognózování vzorku (sample) místo prognózování šumu v každé fázi, což usnadňuje prevenci anomálií, jako je ztráta kontaktu povrchu s nohou.
Pro řízení generace je zajištěna možnost použití textového popisu akce v přirozeném jazyce (například „člověk jde vpřed a sklání se, aby zvedl něco ze země“) nebo použití typových akcí, jako je „běh“ a „skákání“. Systém lze také použít pro úpravy pohybů a doplnění ztracených detailů. Výzkumníci provedli testování, ve kterém účastníkům bylo nabídnuto vybrat z několika variant kvalitnější výsledek — v 42% případů lidé dali přednost syntetizovaným pohybům před skutečnými.
Zdroj: opennet.ru
