A Tel Aviv Egyetem kutatóiból álló csapat megnyitotta az MDM (Motion Diffusion Model) gépi tanulási rendszerhez kapcsolódó forráskódot, amely lehetővé teszi valósághű emberi mozgások generálását. A kód Python nyelven íródott a PyTorch keretrendszer segítségével, és az MIT licenc alatt kerül terjesztésre. Kísérletek elvégzéséhez használhat kész modelleket, és saját maga is betaníthatja a modelleket a javasolt szkriptek segítségével, például a HumanML3D háromdimenziós emberi képek gyűjteményével. A rendszer betanításához CUDA-támogatással rendelkező GPU szükséges.
A hagyományos képességek felhasználása az emberi mozgások animálására a lehetséges mozgások sokféleségével és formális leírásának nehézségeivel járó bonyodalmak, valamint az emberi érzékelés természetellenes mozgásokra való nagy érzékenysége miatt nehézkes. A generatív gépi tanulási modellek használatára irányuló korábbi kísérletek minőségi problémákkal és korlátozott kifejezőképességgel küzdöttek.
A javasolt rendszer megkísérli diffúziós modelleket használni mozgások generálására, amelyek eleve jobban alkalmasak az emberi mozgások szimulálására, de nem mentesek olyan hátrányoktól, mint a magas számítási követelmények és a vezérlés bonyolultsága. A diffúziós modellek hiányosságainak minimalizálása érdekében az MDM transzformátor neurális hálózatot és minta-előrejelzést használ a zaj-előrejelzés helyett minden szakaszban, megkönnyítve az olyan rendellenességek megelőzését, mint például a lábbal való felületi érintkezés elvesztése.
A generálás szabályozására használhatunk egy cselekvés természetes nyelvű szöveges leírását (például „egy személy előremegy és lehajol, hogy felemeljen valamit a földről”), vagy olyan szabványos műveleteket, mint a „futás” és „ ugrás.” A rendszer használható mozgások szerkesztésére és elveszett részletek kitöltésére is. A kutatók egy tesztet végeztek, amelyben a résztvevőket arra kérték, hogy több lehetőség közül válasszanak jobb eredményt – az esetek 42%-ában az emberek a szintetizált mozdulatokat részesítették előnyben a valódiakkal szemben.
Forrás: opennet.ru