A kutatócsoport a Tel-avivi Egyetemről közzétette az MDM (Motion Diffusion Model) gépi tanulási rendszerhez kapcsolódó forrásszövegeket, amely lehetővé teszi az emberek valósághű mozgásainak generálását. A kód Python nyelven készült a PyTorch keretrendszer használatával, és MIT licenc alatt terjesztik. Kísérletek lebonyolításához használhatóak előképzett modellek, vagy a kutatók saját maguk is képezhetik a modelleket a javasolt szkriptek segítségével, például a HumanML3D háromdimenziós emberi képcsoportjának felhasználásával. A rendszer tanításához CUDA-támogatású GPU szükséges.
A hagyományos lehetőségek alkalmazása az emberi mozgások animálására nehézkes a lehetséges mozgások széles skálája és azok formális leírásának bonyolultsága miatt, valamint az emberi érzékelés érzékenysége a nem természetes mozgásokra is probléma. Korábban tett kísérletek a generatív gépi tanulási modellek használatára minőségi problémákkal és korlátozott kifejezőképességgel küzdöttek.
A javasolt rendszer megpróbálja a diffúziós modellek használatát a mozgások generálására, amelyek alapvetően jobban illeszkednek az emberi mozgások szimulációjához, de nem mentesek a hátrányoktól, például a magas számítási igényektől és a vezérlés bonyolultságától. A diffúziós modellek hiányosságainak minimalizálása érdekében az MDM-ben a 'transformer' architektúrájú neurális hálózatot és a minta (sample) előrejelzését alkalmazzák a zaj előrejelzése helyett minden lépésnél, ami megkönnyíti az anomáliák, például a láb felületével való kapcsolat elvesztésének megelőzését.
A generálás irányítása érdekében lehetőség van természetes nyelven megfogalmazott cselekvések leírásának (például 'az ember előre lép és lehajol, hogy felvegye valamit a földről') vagy tipikus cselekvések, mint például 'futás' és 'ugrások' használatára. A rendszert a mozgások szerkesztésére és az elveszett részletek pótlására is lehet alkalmazni. A kutatók teszteléseket végeztek, amely során a résztvevőknek több lehetőség közül kellett kiválasztaniuk a jobb minőségű eredményt — az esetek 42%-ában az emberek az szintetikus mozgásokat részesítették előnyben a valósakkal szemben.
Forrás: opennet.ru
