Një grup hulumtuesish nga Universiteti i Tel Avivit ka publikuar kodin burimor të lidhur me sistemin e mësimit të makinerive MDM (Motion Diffusion Model), i cili lejon gjenerimin e lëvizjeve realiste të njerëzve. Kodi është shkruar në gjuhën Python duke përdorur kornizën PyTorch dhe shpërndahet nën licencën MIT. Për të kryer eksperimente, mund të përdoren modele të gatshme, si dhe të kryhet stërvitja e modeleve vetë me ndihmën e skripteve të ofruara, për shembull, duke përdorur koleksionin e imazheve tre-dimensionale të njeriut HumanML3D. Për të trajnuar sistemin, nevojitet një GPU me mbështetje CUDA.
Aplikimi i mundësive tradicionale për animimin e lëvizjeve të njerëzve është i vështirë për shkak të komplikimeve që lidhen me ndryshueshmërinë e madhe të lëvizjeve të mundshme dhe vështirësinë e përshkrimit të tyre formal, si dhe për shkak të ndjeshmërisë së madhe të perceptimit njerëzor ndaj lëvizjeve të paqëndrueshme. Përpjekjet e mëparshme për të përdorur modelet gjenerative të mësimit të makinerive patën probleme me cilësinë dhe shprehshmërinë e kufizuar.
Në sistemin e propozuar, është bërë një përpjekje për të përdorur modele difuzive për gjenerimin e lëvizjeve, të cilat në thelb janë më të përshtatshme për simulimin e lëvizjeve të njerëzve, por nuk janë pa mangësi, siç janë kërkesat e larta për burime kompjuterikë dhe vështirësia e menaxhimit. Për të minimizuar mangësitë e modeleve difuzive, në MDM është angazhuar një rrjet neuro me një arkitekturë 'transformer' dhe parashikimi i mostrave (sample) në vend të parashikimit të zhurmës në çdo hap, që e thjeshton parandalimin e anomalive, siç është humbja e kontaktit të sipërfaqes me këmbën.
Për të kontrolluar gjenerimin, është parashikuar mundësia e përdorimit të përshkrimeve tekstuale të veprimeve në gjuhën e natyrshme (p.sh., 'një njeri ecën përpara dhe përkulet për të marrë ndonjë gjë nga toka') ose përdorimi i veprimeve model si 'vrapim' dhe 'kërcime'. Sistemi mund të përdoret gjithashtu për të redaktuar lëvizjet dhe për të plotësuar detajet e humbura. Hulumtuesit realizuan një testim, ku pjesëmarrësit u kërkuan të zgjidhnin rezultatin më cilësor nga disa variante — në 42% të rasteve, njerëzit preferuan lëvizjet e sintetizuara ndaj atyre reale.
Burimi: opennet.ru
